表1. 介入割当方法3種類とそれらが用いる被推定量，介入の選択方法 OPは，アウトカムの平均を予測し，それが最大となる介入を選択します． CPは，介入効果を予測し，それが最大となる介入を選択します． APは，介入効果が最大となる選択自体を学習します． CPとAPの違いが少し分かりづらいかもしれませんが，クラス分類において，クラスに属する確率を予測する（これがCP）か属するクラス自体を予測するか（これがAP）の違いと考えると分かりやすいかもしれません． 3つの方法はいずれも理想的な条件（データが十分多く，機械学習モデルのパラメータ推定量が一致推定量）を満たせば漸近的に最適な割当を得ることができることが示されているそうです[1]. しかし，実問題においては，得られるデータ数は有限であるためこれら3つの方法に違いが生じます． その1つとして，「OP・CPは予測性能が介入割当の性能と必ずしも一致し

2023年5月9日紙版発売 2023年5月9日電子版発売 Scott Cunningham　著，加藤真大，河中祥吾，白木紀行，冨田燿志，早川裕太，兵頭亮介，藤田光明，邊土名朝飛，森脇大輔，安井翔太　翻訳 B5変形判／416ページ 定価4,180円（本体3,800円＋税10%） ISBN 978-4-297-13417-4 Gihyo Direct Amazon 楽天ブックス ヨドバシ.com 電子版 Gihyo Digital Publishing Amazon Kindle ブックライブ 楽天kobo honto この本の概要 因果推論とは，ある要因が何を（どれくらい）引き起こしたのかを判断するためのツールです。本書は，因果推論に関する最近までの進展をまとめ，学生や実務家を対象として，因果関係に関する意味のある回答を導き出すために必要な統計的手法を解説していきます。 本書の最大の特徴は，

因果推論のための分析手法は様々ありますが、回帰モデルを使った主なアプローチのRでの実装方法とその推定結果の比較をします。 モチベーション的な部分は以下をご参照ください。 シミュレーションデータを使って、各手法がどのような（主にモデリングに関する）仮定に基づいているのか、それが結果の違いにどのように影響しているのかをみていきます。 なお、Rマークダウンで書いたものをコピペしただけなのであまり見た目は美しくないですが、予め ご了承ください。 そのうち書籍化予定ですので、そのときにはもっと見やすく＆詳しく説明します・・・ シナリオ 擬似データの概要: 重回帰分析 正しく設定されたモデル 調整なしモデル 調整あり&モデルの誤設定1 調整あり＆モデルの誤設定2 標準化(G-formula/G-computation) 正しく設定されたモデル モデルの誤設定 傾向スコア(PS) 層化 回帰モデルでの調

これは何？ 近年、機械学習に関連する研究において「反実仮想機械学習（Counterfactual Machine Learning，CFML）」や「反実仮想説明（Counterfactual Explanation，CE）」と言ったキーワードが見られるようになりました。これらはいずれも「反実仮想（Counterfactual）」というキーワードを含んでいます。反実仮想とは以下を意味します。 文法で、事実と反対のことを想定すること。「もし〜だったら…だろうに」のような言い方。 引用元：反実仮想とは - コトバンク それゆえ、名称が似ていますが、その内容は異なります。本記事では筆者（@daikikatsuragawa）なりに理解した、反実仮想機械学習と反実仮想説明の違いについて紹介します。補足や助言などありましたら「コメント」や「編集リクエスト」をいただけると幸いです。 比較表 ※おそらくレイ

はじめに Meta-LearnerとEconMLについて、Pythonによる実装を交えてまとめました。内容について誤り等ございましたら、コメントにてご指摘いただけますと幸いです。 機械学習を用いた因果推論 機械学習を用いた因果推論手法のうち、今回はMeta-Learnerについて紹介します。 Meta-Leanrerとは Meta-Learnerとは、機械学習と因果推論の考え方を掛け合わせて条件付き平均処置効果(CATE: Conditional Average Treatment Effect)を推定する手法の総称です。 条件付き平均処置効果(CATE)とは、平均処置効果(ATE: Average Treatment Effect)をある条件(X=x)に限定して算出したものであり、処置を実施した場合の結果をY(1)、処置を実施しなかった場合を結果Y(0)とすると \hat{\tau}(x

はじめに 因果推論を行う手法の1つとして、線形回帰が挙げられます。今回は、その線形回帰の拡張とも言えるリッジ回帰(Ridge回帰)やラッソ回帰(Lasso回帰)を用いて因果効果を推定してみるとどうなるのか、Pythonによるシミュレーションと共にまとめました。内容に誤り等ございましたら、ぜひご指摘いただけますと幸いです。 結論 リッジ回帰やラッソ回帰を用いると、うまく因果効果を推定することができません。 これは、リッジ回帰やラッソ回帰を行うことで、線形回帰（線形回帰モデルをOLS推定）による推定値よりも汎化誤差が小さくなる一方で、不偏性と呼ばれる因果効果をバイアスなく推定するために必要な性質が失われてしまうからです。 通常の線形回帰における最小二乗法(OLS)では、下記の損失関数を最小化するパラメータを求めます。

フォレストワークショップ2023で行った招待講演の内容 ・honest treesとは？ ・Causal treesによる因果推論 ・Random forestの漸近正規性と、causal forestによる因果推論 ・Generalized random forestによる因果推論

岩波データサイエンスvol.3 Causal Forest Causal Forest による因果効果の推定 おわりに 統計的因果推論の関連記事 岩波データサイエンスvol.3 岩波データサイエンスvol.3のCM接触の因果効果を他の方法で推定してみた、第二弾です。今回は「非均質性を伴った処置効果(Heterogeneous Treatment Effects)」の推定で数年前に提唱された Causal Forest を用いてみたいと思います。なお、岩波データサイエンスvol.3のCM接触の因果効果を他の方法で推定してみた(1) - YuRAN-HIKOでも傾向スコアマッチングを用いた記事があります。ご興味のある方は併せてお読みください。 使用するデータや用いる説明変数に関しては前回の記事と同様になります。では、早速分析を進めていきたいと思います。今回も R言語を用いることとします。 Ca

タイトルの通り、CausalImpactをPythonで試してみます。 下記本を元にし、RからPythonで書き直し、同様の効果が推定できるか試してみます。 導入 pyが最初につくのに注意します。 pip install pycausalimpact データの作成 statsmodelsのcigarデータを使います。 CausalImpactはデータフレームの一番左をyとし、それ以降が予測に使う変数となるため、その形となるようにpivotと並び替えを行います。 import statsmodels.api as sm df = sm.datasets.get_rdataset('Cigar', 'Ecdat').data #上記本の初期加工を関数化しておく def create_data(df): tmp = df[(df['year']>=70) & (~df['state'].isin

こんにちは。数理最適化ギルドでエンジニアをしている加藤です。 ある自社プロダクトの開発を通じて因果推論について勉強する機会がありました。因果推論は統計の分野ですが、その中で数理最適化の技術が使えることを知り、とても面白かったのでその内容をシェアしようと思います。具体的には組合せ最適化問題のひとつである最小カット問題が、因果推論のタスクの一部である識別可能性に利用できるという話をします。 前半は因果推論についての概説で特に予備知識は仮定していないです。後半は計算時間やネットワークフローなどのアルゴリズムを知っていると読みやすいと思います。 因果推論とは 因果推論の目的 統計的因果推論とは事象の間の因果効果を実験データや観測データから推定することを目的とした統計学の一分野です。単に因果推論といった場合は統計的因果推論を含むより広い概念を指すことがありますが、簡単のため以下では因果推論といえば統

みなさまは"The Causal Revolution" (因果革命)という言葉を聞いたことがあるでしょうか？ 私は今月(2021年6月)に初めて知りました。Google Trendsでもデータ不足によりトレンドが表示されません。 つまりまだ全然マイナーな概念で、聞いたことがないほうが自然かと思われますが、これは「来る」と確信したため本記事を投稿しました。この確信の根拠の箇所を記事中で太字で書いた他、最後にもまとめたため、本記事を読む価値がありそうかの判断には先にそちらを読んでもらってもいいかもしれません。しかしながら、因果革命ないし統計的因果推論は学ぶ価値のある分野です。本記事を読まなくても下記に挙げた書籍を未読の方はぜひ一読してみてください。Qiitaでも因果推論についての記事はいくつもあります。しかし、私が感動した点を明示化した記事は見当たらなかったため本記事を投稿しました。 この記

はじめに 因果推論の実験に使えるデータセットをpythonでの読み込み方法とともにまとめた記事です。 想定している読者 主にRubin因果モデルに従った手法による因果推論を実装したい それぞれのデータセットの特徴を知りたい (pythonで)すぐに自分の環境でデータセットを読み込みたい 因果推論とデータセット データセット紹介の前に、少しだけ表題の解説を行います。基礎的な部分なので、読み飛ばしていただいて大丈夫です。 因果推論の手法の評価実験では、通常のテーブルデータを用いることは少なく、多くの場合、因果推論専用のデータセットによって手法の評価を行います。その理由は簡潔に言うと、「通常のデータには正解データが無いから」であり、これは「因果推論の根本問題」という問題と関連します。 因果推論の根本問題とは、ある介入を行った場合と行わなかった場合の両方の効果を同時には観測できないと言う問題です。

本書は、統計的因果推論の理論（数理的メカニズム）と実装（Rによる数値解析）の両方を統一的にカバーしたものである。具体的には、ハーバード大学統計学科のDonald B. Rubinの提唱した潜在的結果変数の枠組みによる統計的因果推論を扱う。また、データの一部が観測されない場合の因果推論も扱っており、これは類書にはほとんどみられない本書の特徴である。 本書の数理的な理論解説は、できるだけ高校数学の範囲内で理解できるように工夫した。微積分や線形代数も、ほぼ登場しない。さらに、必要な数学的知識は、登場する箇所で解説を加えた。また、Rを使った数値計算により、数学が苦手な人にも統計的因果推論のメカニズムを理解してもらえるように工夫している。そして、数式とRコードとの対応関係をRの初心者も理解できるように、できるだけ1行ごとに完結するコードを書くよう心がけた。 さらに、Rを使って統計的因果推論の実証研究

Tweet 因果推論の先へ―機械学習で因果効果を予測する『反実仮想機械学習（Counterfactual Machine Learning）』入門 はじめに ARISE analytics の近藤です。本記事では、次世代の意思決定技術として注目されている反実仮想機械学習（Counterfactual Machine Learning：CFML）を紹介します。 本記事は、CFMLを日本語で体系的に整理し、初学者の理解を手助けすることをねらいとして執筆しました。本記事の理解促進につながるように、ベースとなった勉強会資料を記載します。こちらも併せて閲覧いただくことで理解の助けになれば幸いです。 目次 ・ はじめに ・ Counterfactual Machine Learning(CFML） ・ Off-Policy Evaluation（OPE） ・ CFMLを支える技術（オープンデータとツー