こんにちは、吉岡([twitter:@yoshiokatsuneo])です。 Webサービスやアプリの開発時、新しいUIや機能と既存のものでどちらのほうがよいかを調べたいときにするのがA/Bテストです。 A/Bテストは、ユーザーなどのターゲットをランダムに半分(AとB)に分けて表示を切り替えて、それらのコンバージョン率(CVR)を比べることで効果を比較します。コンバージョン率(CVR)とは、例えばボタンなどがクリックされる割合(CTR)、商品が購入される割合、などのビジネス上の目標を達成できた割合です。 この方法は、A/Bをランダムに振り分けることからランダム化比較試験(RCT, Randomized Control Trial)とも呼ばれ、既存の方法を対象群(統制群, control group)、新しい方法を実験群(treatment group)と呼びます。 ランダム化比較試験は医療
