WebサービスのA/Bテスト代替手段としての観察データからの平均処置効果推定 - LIVESENSE Data Analytics Blog
こんにちは、リブセンスでデータサイエンティストをしている北原です。今回は平均処置効果の推定方法について紹介します。より具体的にはマッチングや重み付けといった共変量のバランシングを利用してバイアスの小さい推定をする方法を使い、複数得られた推定結果を絞り込んで意思決定に使える結論を得るまでの流れを扱います。サンプルデータを使って実際に推定を行い結果を解釈するところまで行います。コードはRです。完全にコンセンサスのとれた因果推論方法・手順はおそらく存在しないので、現時点でよいのではと考えている方法の紹介になります。 今回紹介する方法のポイントは、共変量のバランシングによってモデル依存性が低下することを利用して信頼できそうな推定結果を絞り込んでいるところにあります。手法やモデルによって様々な推定値が得られますが、バイアスの評価方法がないため採用すべきものがわからないという問題があります。しかし、共
統計的因果推論(4): 機械学習分類器による傾向スコアを調整してみる - 渋谷駅前で働くデータサイエンティストのブログ
この記事は以下の記事の続きです。 ご覧の通り、機械学習分類器3種で傾向スコアを算出してみたらおかしな結果になったわけです。この点について、実は後日2点ほどコメントをいただきました。1つはブコメで、 統計的因果推論(3): 傾向スコア算出を機械学習に置き換えてみると - 渋谷駅前で働くデータサイエンティストのブログ CM接触群と非接触群に分けて、傾向スコアの分布をみてみると、2群のスコアが0.25～0.75でしか重複していません。傾向スコアが0.25～0.75のデータに絞って比較すると、とりあえずは妥当な結論が出ると思います。後は、傾向2016/10/12 21:46 とのことでした。これは確かにその通りかもということで、試してみる価値がありそうです。一方で半可通のMLerとしては以下の[twitter:@toshi_k_datasci]さんからのコメントも気になったのでした。 @TJO_d
統計的因果推論(3): 傾向スコア算出を機械学習に置き換えてみると - 渋谷駅前で働くデータサイエンティストのブログ
この記事は以下の記事の続きです。 前回の記事では普通にロジスティック回帰で傾向スコアを求めたのですが、傾向スコアというのは元はと言えば「共変量に基づいてそれぞれの群に割り付けられる確率値を求めたもの」なので、やろうと思えば機械学習分類器で代替しても良いわけです。実際、岩波DS3にもそのように書かれています。 岩波データサイエンス Vol.3 岩波書店Amazon ということで、前回記事のCM接触データセットに対して任意の機械学習分類器を用いて傾向スコアを算出した歳の、各種効果指標の違いを見ていこうかと思います。なおデータセットは前回から引き続きdというデータフレームに入っているとします。またAUCを求めるに当たっては{ROCR}パッケージを用いています。下準備として以下のようにインデックスを用意しておきます。 > ivec1 <- d$cm_dummy # Treated group >
CausalImpact
An R package for causal inference using Bayesian structural time-series models What does the package do? This R package implements an approach to estimating the causal effect of a designed intervention on a time series. For example, how many additional daily clicks were generated by an advertising campaign? Answering a question like this can be difficult when a randomized experiment is not availab
[R] CausalImpact でできること, できないこと - ill-identified diary
概要Brodersen, Gallusser, Koehler, Remy, & Scott (2015) により提案され, R で実装された時系列因果推論フレームワーク, CausalImpact は, シンプルで分かりやすい difference in differences (DID) の因果推定理論に基づいており, マーケティングイベントがもたらすインパクトを計測するツールとして紹介されている. しかし, DID が非常にシンプルであれるのは, 厳格な仮定を置いているからであり, 利用する際には多くの注意が伴う. そこで今回は, より発展的な理論について考察したことを垂れ流してみる. あとついでに tsibble パッケージの使い方とかも少しだけ触れている. この問題は CausalImpact の考案以前からある議論についても振り返る必要があるので, まず Rubin (1974
![[R] CausalImpact でできること, できないこと - ill-identified diary](https://cdn-ak-scissors.b.st-hatena.com/image/square/e0d17415791bd8e780bb8ba1cd448537178483e3/height=288;version=1;width=512/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2Fd9b73809991bb4e8b19ac99b8e5d59bd3c63864e%2Fbackend%3Dimagemagick%3Bheight%3D1200%3Bversion%3D1%3Bwidth%3D1200%2Fhttps%253A%252F%252Fcdn-ak.f.st-hatena.com%252Fimages%252Ffotolife%252Fi%252Fill-identified%252F20191009%252F20191009025251.png)
『効果検証入門』はマーケティング実験＆分析に関わる全ての人にお薦めの統計的因果推論の入門書 - 渋谷駅前で働くデータサイエンティストのブログ
このブログを普段からお読みになっている皆さんはご存知かと思いますが、僕は割と口を酸っぱくして「マーケティングに携わるならきちんと実験して効果検証せよ、その介入がピュアな施策だろうと機械学習システムによるものだろうと変わらない」ということを折々に触れ言い続けています。 一方で、その効果検証の方法については純粋なRCT（ランダム化比較対照試験）でない限りは往々にして統計的因果推論が必要とされることが多く、その辺のマーケティングの現場で行われている「実験」と称するものを見ていると「それどう見ても交絡まみれやん」と言いたくなるケースが珍しくない、というのが現状のように見受けられます。しかし実務を意識した統計的因果推論の解説書はほぼ皆無に近い状態で、今年の恒例推薦書籍リスト記事を書きながら「相変わらず良い本がないなぁ」と思っていたのでした。 効果検証入門〜正しい比較のための因果推論/計量経済学の基礎
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RPubs - 効果検証入門 - 第３章 傾向スコアを用いた分析
岩波データサイエンスvol.3のデータで遊ぼう
コードとサンプルデータを公開 · iwanami-datascience/vol3@51bdebf
GitHub - itamarcaspi/EconML-with-R: How to use EconML within R%26date%3D20110511)
医療から宇宙へ トップ分析会社 | iAnalysis(アイアナ)