RとStanでBayes A/Bテスト - Qiita

背景・目的 サイト改善などで一般に用いられるABテストにおいて、2群の反応率(CVRなど)の差の有無をχ2乗検定などの統計的仮説検定で判断する場合、サンプルサイズが十分でないとタイプ2エラーになり、誤った評価をする可能性がある 詳しくは、以前の記事(Power Analysisとサンプルサイズの決め方)に記載している そのため、ABテストを正しく行うにためは差があった場合に正しく検出できるだけのサンプルサイズを確保する必要がある しかし、実際にはサンプルを集めるのにコストがかかる/サービス規模の都合上、サンプルが集まりづらい、などの自乗で十分なサンプルサイズがない場合も多い また、χ2二乗検定では、有意差の有無しかわからず、差異の程度やどれくらいの確率で差があるか等がわからないという欠点もある 上記の2点を克服する方法としては、ベイズ統計学の枠組みで比率の差を扱う「ベイズABテスト」が有効

[sh19910711]

"χ2二乗検定: 有意差の有無しかわからず、差異の程度やどれくらいの確率で差があるか等がわからない / ベイズABテスト: 「どれくらいの差がある確率が◯%」というように差の度合いまで評価できる" '21