ABテストの12の落とし穴 - 唯物是真 @Scaled_Wurm

Twitterで見かけた以下の記事で紹介されていた論文がおもしろそうだったので読んだ感想と内容のてきとーな紹介(詳しく知りたい人は元論文を呼んでください) マイクロソフトの研究者による、いわゆる A/B テストにおいてメトリックを解釈するときに陥りがちな罠12選。実例がことごとく直感に反していてとても面白かった。 https://t.co/jC9JOsx1uB— Shuhei Takahashi (@nya3jp) 2017年10月11日 内容が間違っている部分があったらコメントなどで教えていただけると嬉しいです 論文 このKDD2017の論文ではABテストの結果を解釈する時に陥りがちな12種類の罠についてMicrosoftの研究者が実例と対策を交えて説明しています Pavel Dmitriev, Somit Gupta, Dong Woo Kim and Garnet Vaz, "A D

[rootash19]

“2017”

[Dai_Kamijo]

元論文の内容にコメントすると、効果量とかサンプルサイズ決定法とか「率」でやるなとか因果推論に気を付けろ（傾向スコアや差分の差分法など）とか、統計分析サイドでは殆ど常識みたいな話なのに何故わざわざKDD2017

[tofu-kun]

難しい

[ryownet]

偶然や初速だけで有意差が出てもちゃんとサンプル数と期間を決めてやれば収束していくはずだから惑わされるなという話（でいいのかな

[mrkn]

この論文について社内の LT で喋る予定だったので、このタイミングでこれを読めて便利でした。

[chezou]

統計的な罠自体は認識してても具体例と一緒に説明されるとわかりやすいし気づきやすいな