ズバリ！ 必要なサンプルサイズはいくつ？ A/Bテストのための例数設計入門 - 廿TT

こういう状況を考える 広告 A と広告 B で CVR（コンバージョンレート）に差があるかテストしたい。しかも仮説検定をやりたい。 A/Bテストに長い時間をかけるのは無駄だからやめたい（リスティング広告でやってはいけない8つの施策 | スポンサードサーチ再入門 | Web担当者Forum） 一方で一定のクリック数がなくては判断できない（Sexyなリスティング広告プレイヤーになるために…、スライドを公開します。 | SEM-LABO） では、結局一定のクリック数っていくつあればいいの？ R で計算してみる。 用意するもの： 有意水準（α） 検出力（1-β） 広告 A の経験的 CVR 広告 B の期待される CVR ↑これらについては後で説明する。 CVR は CTR（クリック率）と読み替えてもらってもかまわない。なにかをなにかで割った「割合」なら同じように考えて問題ない。 広告 A という