みなさまは"The Causal Revolution" (因果革命)という言葉を聞いたことがあるでしょうか？ 私は今月(2021年6月)に初めて知りました。Google Trendsでもデータ不足によりトレンドが表示されません。 つまりまだ全然マイナーな概念で、聞いたことがないほうが自然かと思われますが、これは「来る」と確信したため本記事を投稿しました。この確信の根拠の箇所を記事中で太字で書いた他、最後にもまとめたため、本記事を読む価値がありそうかの判断には先にそちらを読んでもらってもいいかもしれません。しかしながら、因果革命ないし統計的因果推論は学ぶ価値のある分野です。本記事を読まなくても下記に挙げた書籍を未読の方はぜひ一読してみてください。Qiitaでも因果推論についての記事はいくつもあります。しかし、私が感動した点を明示化した記事は見当たらなかったため本記事を投稿しました。 この記
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。サイエンス統括本部でデータ分析による社内サービスの課題解決支援をしている関口です。 ヤフーではたくさんのABテスト（※1）が常に行われており、サービス改善に活かされています。しかしながら実際には、さまざまな理由からABテストができないことがよくあります。本記事では、そのような場合にどのようにして施策の効果を評価・推定するかについて、具体的なケースからアイデアを紹介していきます。 なお今回はYahoo!ショッピングを題材にしたケースばかりですが、アイデア自体は汎用的なものとなっています。 ※1： ABテストはウェブサービス上のUI改善、機械学習モデル改善、機能追加etc.といったさまざまな施策が、KPIにどれくらいのイン
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
機械学習による確率推定とカリブレーション/probabilistic-calibration-on-classification-model
『因果推論』（金本拓：オーム社）は因果推論に留まらず現代的なマーケティング分析手法まで網羅したバイブル - 渋谷駅前で働くデータサイエンティストのブログ
因果推論: 基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ 作者:金本 拓オーム社Amazon 著者の金本さんからご指名でご恵贈いただいたのが、こちらの『因果推論 ―基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ―』です。正直に白状しますと、因果推論とタイトルにつく技術書はここ数年でゴマンと出版されており、本書も紙冊子で頂戴したものの僕はあまり期待せずにページをめくり始めたのでした（ごめんなさい）。 ところが、ほんの数ページめくっただけでその内容に僕は仰天しました。グラフィカルで実務家にとっての分かりやすさを重視した因果推論の解説と実践にとどまらず、現代的なマーケティング分析では必須の種々の手法についてまで懇切丁寧に解説とPythonによる実践例が付された本書は、文字通り「マーケティング分析実務家にとってのバイブル」になり得る素晴らしい一冊だと直感し
科学の世界に革命をもたらしえる力──『因果推論の科学 「なぜ?」の問いにどう答えるか』 - 基本読書
因果推論の科学 「なぜ?」の問いにどう答えるか 作者:ジューディア・パール,ダナ・マッケンジー文藝春秋Amazonこの『因果推論の科学』は、その名の通り因果推論について、その先駆者の著者が書いた一般向けのサイエンス本である。とはいえ、大半の人の反応は「因果推論ってなんなんだ」であろう。僕も何もわからぬまま読み始めたが、著者がこれは「科学の世界の革命」であると自賛するだけのことはある概念であることはすぐにわかった。 その一方、相当に難しい、とっつきづらい概念でもあり、いかな一般向けの著作といえども本書を読んで理解するハードルは他のサイエンス本と比べても高いといえるだろう。数式も出てくるし、統計学の用語もぽこぽこ出てくるので、素人がスルスルと読み通せる本ではない。とはいえ根気強く読んでいけば理解できるように書かれているし(数式自体は別に読み飛ばしても問題はない)、理解すれば因果推論の科学がいか
こんにちは。数理最適化ギルドでエンジニアをしている加藤です。 ある自社プロダクトの開発を通じて因果推論について勉強する機会がありました。因果推論は統計の分野ですが、その中で数理最適化の技術が使えることを知り、とても面白かったのでその内容をシェアしようと思います。具体的には組合せ最適化問題のひとつである最小カット問題が、因果推論のタスクの一部である識別可能性に利用できるという話をします。 前半は因果推論についての概説で特に予備知識は仮定していないです。後半は計算時間やネットワークフローなどのアルゴリズムを知っていると読みやすいと思います。 因果推論とは 因果推論の目的 統計的因果推論とは事象の間の因果効果を実験データや観測データから推定することを目的とした統計学の一分野です。単に因果推論といった場合は統計的因果推論を含むより広い概念を指すことがありますが、簡単のため以下では因果推論といえば統
はじめに 因果推論100本ノック（自作）1本目~10本目の問題とPythonのサンプルコードです． 問題の不備や内容の誤り等ありましたら，ご指摘いただけますと幸いです． 設定 アナリストの分析レポートが営業の受注件数にどれくらい貢献しているかを分析するケースを考えます． 今回は，下記フォルダの「causal_knock1.csv」ファイルのデータを利用します． データのカラムの概要は下記の通りです． 変数名 データの概要 備考
こんにちは。エムスリーデータ分析グループの中島です。 本記事ではマーケティングやデータサイエンスの文脈で重要度が高まっている統計的因果推論への足掛かりをデータ分析グループの業務と結び付けながらご紹介したいと思います。 1. はじめに「A→Bの因果関係がある」とは、Aへ介入する（Aを変化させる）ことよって、要因Bを変化させることができることを意味します。 具体例で考えると、投薬（A）の有無によって病気の治癒率（B）が変化する場合、投薬→治癒率の因果関係があるといえるわけです。 このような因果関係をデータを活用して解き明かそうとするのが統計的因果推論の目的ですが、大別するとさらに次の２つに分類されます。 (1) 因果の方向を既知のものとして因果の大きさを評価(因果推論) (2) 因果の方向の決定・探索(因果探索) これらの基本的な考え方と手法について紹介をしたいと思いますが、その前に重要な概念
社内勉強会の資料 インターネット広告における広告の効果推定のための因果推論の導入および事例紹介 Causal effectiveness of Online Advertisement
フォレストワークショップ2023で行った招待講演の内容 ・honest treesとは？ ・Causal treesによる因果推論 ・Random forestの漸近正規性と、causal forestによる因果推論 ・Generalized random forestによる因果推論
因果推論の先へ―機械学習で因果効果を予測する『反実仮想機械学習（Counterfactual Machine Learning）』入門 | 株式会社ARISE analytics（アライズ アナリティクス）
Tweet 因果推論の先へ―機械学習で因果効果を予測する『反実仮想機械学習（Counterfactual Machine Learning）』入門 はじめに ARISE analytics の近藤です。本記事では、次世代の意思決定技術として注目されている反実仮想機械学習（Counterfactual Machine Learning：CFML）を紹介します。 本記事は、CFMLを日本語で体系的に整理し、初学者の理解を手助けすることをねらいとして執筆しました。本記事の理解促進につながるように、ベースとなった勉強会資料を記載します。こちらも併せて閲覧いただくことで理解の助けになれば幸いです。 目次 ・ はじめに ・ Counterfactual Machine Learning(CFML） ・ Off-Policy Evaluation（OPE） ・ CFMLを支える技術（オープンデータとツー
東京大学・株式会社Nospareの菅澤です． 今回は状態空間モデルによる時系列予測手法を用いた因果効果の推定手法であるCausalImpactについて紹介します． CausalImpactとは CausalImpactはGoogleによって開発された因果効果推定の方法です．手法の詳細はBrodersen et al. (2015, AoAS)に記載されており，手法を実装したRパッケージも公開されています． CausalImpactは，ある介入が時間変化するアウトカムにどのような影響を与えるかを推定（推測）するための手法です．時間変化するアウトカム（時系列データ）に対して因果効果を推定する有名な方法としてDifference-in-Difference (DID)がありますが，DIDよりも緩い仮定のもとで時間変化する因果効果を推定できる方法として知られています． CausalImpactのコ
読みました。アプリケーション開発エンジニア視点で読んで同僚に勧められる素晴しい内容でした。本稿はエンジニア視点のレビューになります。 効果検証入門〜正しい比較のための因果推論／計量経済学の基礎 技術評論社 (2019/1/18) 安井 翔太 (著), 株式会社ホクソエム (監修) Kindle版/紙版両方あり 目次と構成 序 嘘っぱちの効果とそれを見抜けないデータ分析 1章 セレクションバイアスとRCT 2章 介入効果を測るための回帰分析 3章 傾向スコアを用いた分析 4章 差分の差分法（DID）とCausalImpact 5章 回帰不連続デザイン（RDD） 付録 RとRStudioの基礎 終 因果推論をビジネスにするために まず効果検証とは何かという導入と共にビジネスの現場でありがちな誤りのある検証について解説があります。この誤りの原因となるセレクションバイアスと理想的な比較方法であるラ
『効果検証入門』はマーケティング実験＆分析に関わる全ての人にお薦めの統計的因果推論の入門書 - 渋谷駅前で働くデータサイエンティストのブログ
このブログを普段からお読みになっている皆さんはご存知かと思いますが、僕は割と口を酸っぱくして「マーケティングに携わるならきちんと実験して効果検証せよ、その介入がピュアな施策だろうと機械学習システムによるものだろうと変わらない」ということを折々に触れ言い続けています。 一方で、その効果検証の方法については純粋なRCT（ランダム化比較対照試験）でない限りは往々にして統計的因果推論が必要とされることが多く、その辺のマーケティングの現場で行われている「実験」と称するものを見ていると「それどう見ても交絡まみれやん」と言いたくなるケースが珍しくない、というのが現状のように見受けられます。しかし実務を意識した統計的因果推論の解説書はほぼ皆無に近い状態で、今年の恒例推薦書籍リスト記事を書きながら「相変わらず良い本がないなぁ」と思っていたのでした。 効果検証入門〜正しい比較のための因果推論/計量経済学の基礎
あけましておめでとうございます。2020年もよろしくお願いします。 2019年は「データサイエンティストなのにデータ万能主義を否定している」的スタンスでのメディア露出が増えました。 発言に矛盾はないと思います。データ触っている人ほど、データに慎重ですよね？ 加熱するデータへの過度な期待を、少しでも冷ませられたら幸いです。しかしデータ自体への火は消していない。火を絶やすでないぞぉ。ただ、データ分析の全てを否定したわけではありません。 実は取材を受ける度に「これからは因果関係を発見する因果推論が重要」と主張してきました。2020年代はますます重要性が増すと考えています。 新年１発目のnoteは、その論拠をまとめてみました。 2020年代は因果推論がアツいと思う理由私がデータ分析を始める際、いきなり数字は触りません。まずは「目的」と「アプローチ」を定義するところから始めます。 目的（WHATとW
効果検証においてABテストによる単純比較以上のことをやろうすると、因果推論の各種手法を用いることになります。しかし、因果推論は主義や用語などが統一されておらず、いつ何を使えばいいかが分からないというハードルがあります。 そんな因果推論の手法を整理し、初～中級者にとって学習・活用の見通しが立てやすいようにまとめたものが本記事です。 2023/12/6追記 もともとこの記事は「もう迷わない！効果検証のための因果推論手法のチートシート」というタイトルだったのですが、"迷わない" はどう考えても言い過ぎだったので、タイトルを修正しました。沢山手法があるけど違いが分からなくて混乱しがち、というのが執筆のモチベーションです。むしろ 迷子のお伴 として活用していただけると幸いです。 特にフローチャートの部分は、これに従っておけばOKという主張ではなく、あくまで手法間の関係を整理するためのもの、そしてこう
人文系大学生〜学部卒の方々を念頭に置いた講演でのスライドです。Enjoy！ ＊書籍：林岳彦著『はじめての統計的因果推論』（岩波書店）の情報はこちら→ https://www.iwanami.co.jp/book/b639904.html
TL;DR 書籍「効果検証入門 正しい比較のための因果推論／計量経済学の基礎」のRソースコードを、Pythonで（ほぼ）再現しました https://github.com/nekoumei/cibook-python 本記事では、主にRではライブラリどーん！で済むけどPythonではそうはいかない部分の解説をします 書籍の紹介 https://www.amazon.co.jp/dp/B0834JN23Y 上記Amazonに目次が載っているのでそれを見るのが早い気がしますが。。 とても良い本です。正確な意思決定を行うためにどうやってバイアスを取り除くか？に焦点を当てて種々の因果推論の手法（傾向スコア/DiD/RDDなど）をRソースコードによる実装とともに紹介されています。 全体を通して、現実問題の効果検証に因果推論を活用するにはどうすればいいか？という観点で書かれており、非常に実用的だなーと
【記事更新】私のブックマーク「反実仮想機械学習」（Counterfactual Machine Learning, CFML） | 人工知能学会 (The Japanese Society for Artificial Intelligence)
Home » リソース » 私のブックマーク » 【記事更新】私のブックマーク「反実仮想機械学習」（Counterfactual Machine Learning, CFML） 反実仮想機械学習（Counterfactual Machine Learning, CFML）齋藤 優太（東京工業大学） はじめに機械学習の応用において，反実仮想（Counterfactual）─起こり得たけれども実際には起こらなかった状況─についての情報が得られるとうれしい場面が多くある．例えば，「今動いている推薦アルゴリズムを仮に別のアルゴリズムに変えたときにコンバージョン率はどれくらいになるだろうか？」や「あるユーザに仮にクーポンを与えた場合に離反率はどれくらい減少するだろうか？」などの実務現場でよくある問いに答えるためには，反実仮想についての情報を知る必要がある． 反実仮想機械学習（CFML）とは，因果効果
因果推論の先へ―機械学習で因果効果を予測する『反実仮想機械学習（Counterfactual Machine Learning）』入門 | 株式会社ARISE analytics（アライズ アナリティクス）
Tweet 因果推論の先へ―機械学習で因果効果を予測する『反実仮想機械学習（Counterfactual Machine Learning）』入門 はじめに ARISE analytics の近藤です。本記事では、次世代の意思決定技術として注目されている反実仮想機械学習（Counterfactual Machine Learning：CFML）を紹介します。 本記事は、CFMLを日本語で体系的に整理し、初学者の理解を手助けすることをねらいとして執筆しました。本記事の理解促進につながるように、ベースとなった勉強会資料を記載します。こちらも併せて閲覧いただくことで理解の助けになれば幸いです。 目次 ・ はじめに ・ Counterfactual Machine Learning(CFML） ・ Off-Policy Evaluation（OPE） ・ CFMLを支える技術（オープンデータとツー
ジューディア・パール『因果推論の科学』を読む：統計を、AIを、そして科学について考える人は、ぜひ一読を！ 英語圏ではすでにして評価の高い、ジューディア・パールの大著『因果推論の科学－－「なぜ？」の問いにどう答えるか』（原題はThe Book of Why）が、ついに翻訳刊行された。実は私は原書を読みかけて挫折していたのだが、このたび邦訳が出たのを機に、ついに読み通すことができた。そして、本書を読み通したことで得たものは大きい。 ジューディア・パールは、人工知能への確率論的アプローチの導入と、ベイジアンネットワークの開発により世界的名声を確立し、「人工知能分野の巨人」とも呼ばれる人物である。ベイジアンネットワークなんて初めて聞くという人もいるかもしれない。人口知能研究の歴史という観点からざっくりその位置づけを説明すると、かつてAI研究は、「エキスパートシステム」と呼ばれるアプローチを採ってい
みなさまは"The Causal Revolution" (因果革命)という言葉を聞いたことがあるでしょうか？ 私は今月(2021年6月)に初めて知りました。Google Trendsでもデータ不足によりトレンドが表示されません。 つまりまだ全然マイナーな概念で、聞いたことがないほうが自然かと思われますが、これは「来る」と確信したため本記事を投稿しました。この確信の根拠の箇所を記事中で太字で書いた他、最後にもまとめたため、本記事を読む価値がありそうかの判断には先にそちらを読んでもらってもいいかもしれません。しかしながら、因果革命ないし統計的因果推論は学ぶ価値のある分野です。本記事を読まなくても下記に挙げた書籍を未読の方はぜひ一読してみてください。Qiitaでも因果推論についての記事はいくつもあります。しかし、私が感動した点を明示化した記事は見当たらなかったため本記事を投稿しました。 この記
「学術的に理解する」ってどういうこと? ：統計的因果推論のフレームワークから見た 「量的×質的」に関する眺望の (いささかとっちらかった)スケッチを共有する
統計的因果推論のフレームワークとはいかなるものかを理解することで、統計的因果推論がいかに質的な知見を（しばしば暗黙に）その基盤としているか、統計的因果推論のスコープがしばしば いかに”狭い&薄い”のかを議論しました。前半はDAG-潜在結果モデル-構造的因果モデルの統一的な解説です。後半はSUTVAと質的…
去年末に日本に帰国した際、ありがたいことに多くの方から因果推論に関するレクチャーの依頼をいただきました。 本当はこの春にも帰国してトーク予定だったのですが、コロナ渦でタイミングを逸したので思い切って講義資料を公開することにしました。 ツイッター上でのこんな話題もきっかけで・・・ これを意識するだけで（少なくとも医学・公衆衛生領域における）回帰分析ユーザーの大部分の結果の解釈やモデルに対する向き合い方が変わると思っています。日本で修士までとったけど、自分は留学するまで知らんかった。 去年末、一時帰国中にやった因果推論ワークショップ中でも触れました。 https://t.co/jEsu5WDPLx pic.twitter.com/LmidBTMQlw — KRSK (@koro485) May 27, 2020 内容はこんな感じです なんとなく回帰分析を使って「調整」をしてました、くらいの統計
問題設定 有意差検定 交絡因子の存在 線形重回帰によるモデル化 回帰係数の推定 回帰係数の仮説検定 補足など 残差の分布について 他の交絡因子について データの生成方法について 参考文献 @tkanayama_です。最近「計量経済学*1」と「効果検証入門 *2」を読んだので、せっかくなので実際に手を動かすことによって理解の整理をしたいと思いました。 www.yuhikaku.co.jp gihyo.jp そこで今回は、人工データを用いて「ボールの性能と捕獲確率」の関係性を効果検証してみました（人工データの生成方法は記事の末尾に記述しました）。 問題設定 今は昔、モンスターボールしか存在せず、スーパーボールが世の中で出回り始めたばかりの頃、オーキド博士が「スーパーボールは本当にモンスターボールより捕まえやすいのか？」という仮説を検証しようとしています。 そこでオーキド博士は世界中のトレーナー
タイトルの通り、CausalImpactをPythonで試してみます。 下記本を元にし、RからPythonで書き直し、同様の効果が推定できるか試してみます。 導入 pyが最初につくのに注意します。 pip install pycausalimpact データの作成 statsmodelsのcigarデータを使います。 CausalImpactはデータフレームの一番左をyとし、それ以降が予測に使う変数となるため、その形となるようにpivotと並び替えを行います。 import statsmodels.api as sm df = sm.datasets.get_rdataset('Cigar', 'Ecdat').data #上記本の初期加工を関数化しておく def create_data(df): tmp = df[(df['year']>=70) & (~df['state'].isin
機械学習を用いた因果推論のための最新 Python パッケージ "CausalML" の紹介 - YuRAN-HIKO
はじめに CausalML とは 現在 CausalML で提供されているもの CausalMLがどういう分野で適用可能か Targeting Optimization Causal Impact Analysis Personalization おわりに 統計的因果推論の関連記事 はじめに 本記事は H. Chen et al. (2020), "CausalML: Python Package for Causal Machine Learning" の紹介記事です。 上記 Chen et al.(2020) は目下研究分野としてもアツい、機械学習を用いた因果推論手法を提供する CausalML という最新の Python パッケージの紹介になっています。この CausalML は Uber Technology のメンバーが開発したパッケージで、著者らは同社のメンバーです。Uplif
先日オンラインセミナーで交絡に関するレクチャーをしました。 合計1000人以上に参加していただき、ありがとうございました。 当日の講義資料を公開します。 交絡とは何か、どうやって調整変数を選ぶか、（観察データ分析をする限り必ず生じる）未調整交絡があるというシチュエーションでどのように結果を解釈するかなどについて話しました。 大学の授業で習う教科書的な知識と、実際のデータ分析を行ううえで直面する問題とのギャップを埋めるような実践的な知識をご提供するべく、意識したプレゼンテーションです。 そのほかにも因果推論に関係する講義資料を公開しています。 合わせてご参照ください。
SHAPで因果関係を説明できる？ - Qiita
はじめに 予測モデル（機械学習モデル）を解釈するのに有用なSHAPを用いて因果関係を説明することができるか、についてPythonによるシミュレーションを交えてまとめました。内容に誤り等ございましたら、ご指摘いただけますと幸いです。 結論 基本的に、SHAPで因果関係は説明できません。これは、SHAPが予測モデルの因果ではなく相関を明らかにするものであるからです。 そこで今回は、予測モデルをSHAPで解釈する上でありがちなミスリーディングや、それに関連する因果効果を推定するためのアプローチについて記載しています。 そもそもSHAPとは SHAPとはSHapley Additive exPlanationsの略で、協力ゲーム理論のShapley Valueを機械学習に応用した手法です。「その予測モデルがなぜ、その予測値を算出しているか」を解釈するためのツールとしてオープンソースのライブラリが開
電通デジタルで機械学習エンジニアをしている今井です。 本記事では、BigQueryで傾向スコア分析を行うための方法について紹介します。 広告効果ってあったの？広告効果とは、広告に接触した場合と接触していない場合とのその後のコンバージョン（例えば、購入金額や継続期間など）の差である、と言えます。 しかしながら、同一ユーザーにおいて、広告に接触した場合と接触していない場合とを同時に観測することはできません。 これを反実仮想（counterfactual）と呼びます。 そこで提案されたのが平均処置効果（average treatment effect, ATE）です。 広告に接触したユーザー群（𝑤=1）と接触していないユーザー群（𝑤=0）とのその後のコンバージョン（𝑦 ）の差を広告効果とするものです。 ここで、介入（広告に接触する）の有無以外の条件が公平になるようにユーザー郡が分かれていれ
統計的仮説検定における効果量の概念と必要サンプルサイズの算出｜Dentsu Digital Tech Blog
この記事について電通デジタルでデータサイエンティストをしている中嶋です。今回の記事では統計的仮説検定における検出力や効果量の概念及び、それらを考慮した事前のサンプルサイズ設計について説明します。読者層としては、既に統計的仮説検定の基本的な使い方を理解している方を主な対象としていますが、そうでない方にもわかるように最初に簡単な復習をします。 統計的仮説検定について 概要 統計的仮説検定（以下、仮説検定）とは、性質の異なるグループ間で平均や分散など各グループを代表するような数値を比較する際に、その差が偶然生じたものか、そうでなく何かしら必然性がありそうかを検証するための統計手法です。例えば比較分析したい2つの群（ex. ユーザーグループ）があった時にある指標（ex. 各群の年齢の平均値）を比較して、統計的に偶然ではないレベルで差異が生じているかを判定したいときに仮説検定を使うことができます。
『効果検証入門から見直すデータサイエンス』株式会社サイバーエージェント 安井 翔太氏（2020年8月28日webセミナー）
近年AI技術を筆頭に様々なデータサイエンス技術がビジネスの現場に用いられるようになってきました。しかし、果たしてそれらの技術は本当にビジネスに何らかの効果をもたらしているのでしょうか？ 本講演では、因果推論を背景にした効果検証における基礎の導入を行い、ビジネスで語られる効果の測り方を見直すと共に、効果検証の観点でAI技術を中心としたデータサイエンスを見直す試みを行なってみたいと思います。 ※『因果推論・効果検証入門』講演1のアーカイブ ※その他概要はこちら→https://techplay.jp/event/789307
因果推論と因果探索を学びたい初心者の方を対象に、因果分析のPythonプログラムを実際にGoogle Colaboratoryで実装しながら学ぶ書籍を執筆しました。 単著としては、「つくりながら学ぶ! PyTorchによる発展ディープラーニング」、以来、約1年ぶりの新刊となります。 本記事では、因果分析の書籍を執筆したモチベーション、Pythonによる因果推論、因果探索の概要について解説します。 「つくりながら学ぶ! Pythonによる因果分析 ~因果推論・因果探索の実践入門」 ●2020年6月30日発売 ●著者：小川雄太郎（自己紹介、Twitter）@電通国際情報サービス（ISID） ●出版社: マイナビ出版 本記事の内容 ● 0. 本書を執筆したモチベーション ● 1. 因果推論が必要な事例 ● 2. 因果推論をしたいデータ ● 3. 因果推論の方法 ● 4. 因果探索の手法 ● 5.
Off-Policy Evaluationの基礎とZOZOTOWN大規模公開実データおよびパッケージ紹介 - ZOZO TECH BLOG
※AMP表示の場合、数式が正しく表示されません。数式を確認する場合は通常表示版をご覧ください ※2020年11月7日に、「Open Bandit Pipelineの使い方」の節に修正を加えました。修正では、パッケージの更新に伴って、実装例を新たなバージョンに対応させました。詳しくは対応するrelease noteをご確認ください。今後、データセット・パッケージ・論文などの更新情報はGoogle Groupにて随時周知する予定です。こちらも良ければフォローしてみてください。また新たに「国際会議ワークショップでの反応」という章を追記しました。 ZOZO研究所と共同研究をしている東京工業大学の齋藤優太です。普段は、反実仮想機械学習の理論と応用をつなぐような研究をしています。反実仮想機械学習に関しては、拙著のサーベイ記事をご覧ください。 本記事では、機械学習に基づいて作られた意思決定の性能をオフラ
2023年12月2日に開催されたJapan.RのLT資料です。 処置と割当の不一致や効果の異質性によって効果が検出できない際に、操作変数を用いて効果を推定する方法を紹介しています。 因果推論・効果検証に興味のある方は、ぜひご一読いただけますと幸いです。
Responsible AI （責任あるAI...
本文書の後半では、この表の中にある「解釈可能性」をサポートするライブラリ、InterpretMLのサンプルを動かしてみます。 それでは技術トピックを紹介してゆきます。 解釈可能性 多くの機械学習器は指定されたフォーマットの入力に対して結果を返すブラックボックスのように動作します。しかし適用するドメインによってはなぜ機械学習モデルがその結果を出力したのかが問われることがあります。 AIや機械学習の研究開発では精度が重要です。精度を向上するために古典的な機械学習器であれば、あらゆる有効そうな特徴量やその組み合わせを元にモデルを作成します。近年、大きな発展を遂げた深層学習では多数の中間層をもつモデルで入力の各要素がどのように結果に影響をあたえるかを判断するのはさらに難しくなります。 解釈可能性をサポートする機械学習モデルは出力がどのような情報をどのような重みをつかってなされたのかについての根拠を
この1-2年でアドテクスタジオでもMulti-Arm-BanditやContextual-Banditといった単語がプロダクトとのMTGの中で飛び交うようになり、社内における応用例も徐々に増えてきました。 Banditそれ自体も非常に面白いのですが、個人的には「それをどの様に評価・比較するのか？」という問題が非常に面白いと考えています。 その大きな理由の一つは評価に因果推論の発想を用いる必要性が生じている事にあります。 今回は、Contextual-Banditの様なPolicyの評価方法について簡単なイントロを行えればと思います。 1. セットアップ 広告の画像をContextual-Banditで選択している様な状況を考えます。 すでに何らかの広告を見せる事が決まっているリクエスト(i)が来るたびに、そのリクエストを発生させたユーザーのcontext(X)が手に入り、それを元に報酬(r
疫学と経済学、どちらもある要因Xがある要因Yに与える因果的な効果の大きさを推定する「因果推論」に関心があることが多いです。 「選択(セレクション）バイアス」「交絡」「内生性」、多くの用語が因果推論で登場します。 ところが、話をしているとどうも噛み合わないことが多い。よくよく聞くと、 ①同じことを違う用語を使って話している ②同じ用語を使って全く違う概念について話している ことが判明。 先日の勉強会がきっかけで，selection biasの議論が活発におこなわれています． selection biasは疫学，経済学の領域間だけではなく，領域内でも定義が混乱してそう🤔 それぞれの領域の方々が同じ場で議論し合うのは良いなと思います． お互いリスペクトした議論になっているのもストレスフリー🧸 pic.twitter.com/WTbX7sVHIP — Sato@生物統計家 (@Shuntaro
Google Colabで統計的因果探索手法LiNGAMを動かしてみた｜Dentsu Digital Tech Blog
電通デジタルでデータサイエンティストをしている中嶋です。 前回の記事は「Airflow 2.0でDAG定義をよりシンプルに！TaskFlow APIの紹介」でした。 Advent Calendar 10日目となる本記事では因果探索の一手法であるLiNGAM(Linear Non-Gaussian Acyclic Model)の解説及び、Google Colabでの分析例について紹介します。 因果探索とは最近のトレンド 最近、広告配信やマーケティング分析の文脈で施策の効果を適切に評価する手法として実験計画法や因果推論が注目を浴びています。産業界でも株式会社ソニーコンピュータサイエンス研究所、クウジット株式会社、株式会社電通国際情報サービスの三社が提供するCALCという要因分析ツールや、最近はNECの因果分析ソリューション causal analysisも出ていたりと盛り上がりを見せています。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
今起きている革命、「因果革命」とは - Qiita
ABテストが難しい場合の施策効果の評価・推定方法
京都大学、因果推論の手法と理論を学べる講座が無料に 臨床統計学の講師が担当 | Ledge.ai
効果検証入門から見直す 「データサイエンス」
![DeNA ネットワーク運用監視ツールの紹介 [DeNA インフラ SRE] | BLOG - DeNA Engineering](https://cdn-ak-scissors.b.st-hatena.com/image/square/1b9acf5c47daa7b9d974947691fc12da8b40f44f/height=288;version=1;width=512/https%3A%2F%2Fengineering.dena.com%2Fblog%2F2024%2F10%2Fdena-network-monitoring%2Fcover.png)
因果推論とグラフ理論 - エクサウィザーズ Engineer Blog
因果推論100本ノック(1)因果効果とランダム割付
統計的因果推論と因果探索について｜M3 Data Science Blog
インターネット広告の効果推定と因果推論 (2018)
ランダムフォレストによる因果推論と最近の展開
状態空間モデルを用いた因果効果の推定: CausalImpact - Qiita
『効果検証入門』がアプリケーション開発エンジニアにとって得る物が多い本だった
2020年こそ理解したい「因果推論」の勉強はじめました｜松本健太郎
効果検証のための因果推論手法のチートシート - Qiita
はじめての「相関と因果とエビデンス」入門：“動機づけられた推論” に抗うために
「効果検証入門」をPythonで書いた - Qiita
ジューディア・パール『因果推論の科学』を読む：統計を、AIを、そして科学について考える人は、ぜひ一読を！ - HONZ
今起きている革命、「因果革命」とは - Qiita
統計的因果推論入門の講義資料を公開しました - Unboundedly
ポケモンを題材に因果推論を実践してみる - kanayamaのブログ
)
Pythonで因果推論したい(CausalImpact) - あれもPython,これもPython
「教科書が教えてくれない『交絡』の話」の講義資料を公開しました - Unboundedly
BigQueryで傾向スコア分析｜Dentsu Digital Tech Blog｜note
Pythonによる因果推論と因果探索（初心者の方向け） - Qiita
効果検証入門に物申してみた_JapanR_2023
バンディットアルゴリズムの評価と因果推論 | | AI tech studio
選択（セレクション）バイアスとは？人によって定義が違うので整理してみた。 - Unboundedly
youtubelib.com
www.fuji-keizai.co.jp
www.gadget2ch.com
sn-jp.com
jp.easeus.com
toonii.hatenablog.com