A/Bテストにおける「効果量」の非対称性 – nonentity data scientist
はじめに A/Bテストのサンプルサイズ設計を行う際に必要となる「効果量」についてのお話です。両側検定を行うときに、ちょっとだけ気にしておいた方がいいかもしれないことを発見したので、備忘録として書いておきます。解釈に誤りを含んでいそうなので、やさしい鉞をお待ちしています。 具体例 T群がC群を有意に上回る例 まずは例として、母比率の差の検定について考えます。まずは次の設定のもとでサンプルサイズ設計を行う事を考えてみましょう。C群とT群のイベント発生率をそれぞれ\(p_1, p_2\)とおいてテスト設計を行います。検出力（\(\beta\)）や有意水準（\(\alpha\)）などのパラメータは以下の通りとします。 \[ \begin{aligned} p_1 &= 0.1\\ p_2 &= 0.2\\ 1 - \beta &= 0.8\\ \alpha &= 0.05 \end{aligned
ABテストにおける分散削減手法①〜少ないサンプルから小さな改善効果を検出する〜｜あならいずパンダ
マネーフォワード 分析推進部の石田と申します。 社内では、データサイエンティストとして施策効果検証系の案件を中心に担当しています。 本稿から2回に渡って、「ABテストにおける分散削減手法」というテーマで記事を執筆したいと思います。 馴染みのない方もいらっしゃるかもしれませんが、ABテストへ分散削減手法を適用することで、例えば以下に挙げたメリットを享受することができます。 必要サンプルサイズを低減できるため、意思決定サイクルを高速化できる より小さな改善効果を検出できる 魅力的だと感じていただけた方は、ぜひ最後まで本稿をお読みください！ 目次 想定する読者層と書いてある内容本稿のメインターゲットは、以下のような方です。 統計的仮説検定の理論を少し勉強したことがあるけど、分散削減と言われてもあまりピンと来ていない 確率変数、標本平均、分散、正規分布の意味は分かるけど、t検定の検定統計量がパッと
OKIYUKI on Twitter: "AAテストのリプレイでp値が一様分布になってるかを事前に確認するのが大事という事例。 なぜあなたのA/Bテストはうまくいくのか？A/Bテストの分析で注意すること https://t.co/jooP8K73HL"
AAテストのリプレイでp値が一様分布になってるかを事前に確認するのが大事という事例。 なぜあなたのA/Bテストはうまくいくのか？A/Bテストの分析で注意すること https://t.co/jooP8K73HL
hikaru / 樫田光 on Twitter: "めっちゃいい記事 メルカリって会社、凄いんだな メルカリにおけるA/Bテスト標準化への取り組み｜Mercari Analytics #note https://t.co/PSERU9PzMO"
めっちゃいい記事 メルカリって会社、凄いんだな メルカリにおけるA/Bテスト標準化への取り組み｜Mercari Analytics #note https://t.co/PSERU9PzMO
システムの応答速度は本質的な価値提供であることを示す A/B テストの実例
2021-08-13 内容システム提供において、基本的に高速であればあるほど顧客は嬉しいものだが、実際のところ高速なシステムを提供して、どの程度の価値が発生するのかが気になったので、調べてみた。 2021/08/14 追記A/Bテスト実践ガイド 真のデータドリブンへ至る信用できる実験とは の書籍で同様な事例が紹介されているとのこと。情報提供ありがとうございます。実務でA/Bテストに向き合った人間であれば必ず一度は考えたことのあるトピックについて、アメリカのテックカンパニー（Airbnb, Google, LinkedInなど）勤務の著者らが国際会議で発表された研究もちゃんと引用して見解を述べており説得力がある。 従って、現時点における最高レベルの意思決定をデータ（A/Bテスト）に基づいて行いたいと思うなら、一度は目を通しておくべきであり関係者必携だと思う。 ※個人的には”Webサービスのレ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://twitter.com/s1ok69oo/status/1678353847864147968?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
https://twitter.com/nogawanogawa/status/1676171420802629632?s=12&t=suYC6B2IhN7jv0qU5zDxmQ
yaginuuun on Twitter: "A/Bテストにおいて、比較群同士の独立性を仮定できない場合にどのような取り組みによって妥当な効果検証を行なっているのか解説している記事がDoordashから出ていた。 https://t.co/3bgVzLYFAQ"
マーキュリー２世 on Twitter: "独立した2群の研究デザインでサンプルサイズを決定し、正当性を示す9つの方法が使えるウエブアプリ・Rパッケージの紹介。出来上がったサンプルサイズ・レポートはプレレジや論文の原稿のテンプレートとして活用可能。SampleSizePla… https://t.co/eCssfRNVzV"
yaginuuun on Twitter: "Netflix tech blog のA/Bテスト連載第二弾が出てた。 タイトル的にA/Bテストの包括的な説明なのかなと見てたらそれはあっさりめ。 寧ろそれよりも、実例として Top 10 という施策のテストの際の仮説設定や評価… https://t.co/3lTeZXJXZu"
Shuhei Iitsuka on Twitter: "A/Bテスト初心者のメモ - Re:ゼロから始めるML生活 https://t.co/DJrl5prGYE"
soonraah on Twitter: "AWS のブログで A/B テスト (というか bandit) の解説が見られるとは。 https://t.co/0kB0I61LGp"
tdual(ティーデュアル)@MatrixFlow on Twitter: "A/Bテストの評価をベイズ統計でやってみない？ - tdualのブログ https://t.co/P65zpex2f7"
yaginuuun on Twitter: "社の勉強会でVariance reductionについて発表しました。 https://t.co/bz8sNjE6IH シンプルな仕組みなのに実際にかなりの分散が削減できるので有用な場面が多そうです。"