こんにちは、吉岡([twitter:@yoshiokatsuneo])です。 Webサービスを運営していると、いくつかの機能やページのデザイン・文面・などから、どれを選ぶか迷うことがありますよね。 これがいいんじゃないか、いやあれがいいんじゃないか…などとみんなで考えたり議論したりしても結論が出ないとき、使われる手法の1つがA/Bテストです。 A/Bテストは、A案・B案の機能やデザインをユーザーによって出し分けて、クリック率などの反応を見ることで、どちらの案がよかったかを確認します。 ただ、単純にクリック数やクリック率で比べるだけでは、たまたまその時クリックされただけなのか、有意差があるのかどうかがわかりません。たとえば、A案が10回表示して1クリック、B案が10回表示して2クリック、という場合、B案の方が2倍クリックされているわけですが、1回しか差がないので、偶然多くなっただけな可能性が
![Webサービスでよく使うA/Bテストの評価方法5種をコード付きで解説 - paiza times](https://cdn-ak-scissors.b.st-hatena.com/image/square/67926af3398915c9214df94e6ab7f1436758ea59/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fp%2Fpaiza%2F20191029%2F20191029171322.png)