ABテストにおける10個の統計的な罠：オプティマイザーのためのパーフェクトガイド - SEO Japan｜アイオイクスのSEO・CV改善・Webサイト集客情報ブログ

Ⅰ.テストを行う前の統計学的な落とし穴 統計学的な落とし穴#1：多すぎる変数 「可能な限り多くの変数を用いてテストしよう。その中の１つは上手くいくはずだ。」 多くの場合、多くの変数を同時にテストすることは、良いアイデアとはならない。 一般的に、最適化のプロセスは、常に仮説ベースであるべきだ。壁にランダムなアイデアをぶつけても、それらはあなたをどこへも連れて行ってくれない。 多くのテストを行うことによる問題は他にもある。妥当性である。より多くの変数をテストすれば、実際はそうではなくとも、その変数の中のどれかが勝者となる可能性が高まってしまう。 「累積αエラー」という概念をすでにご存知の方もいるかもしれない。 各テストには、「テスト結果の中に特定のエラーが含まれている」という考えを受け入れて行われている。 ABテストは、全体の顧客の一部（選定されたサンプル）のみを考慮しており、実際の効果につい

[s-supporter]

『クリック率とコンバージョン率』と『テスト結果を受けた安易な推測』は失敗あるある。前者はKPIとマイクロコンバージョンが適切でない。後者は因果と相関を間違えるのはもちろん、成功ありきの逆算は再現性がない。

[cyber_snufkin]

[A/B Testing]

[saimutan]

“より多くのインサイトを発見したり、結果の正当性を判断するために、データを詳細に確認する価値があったりする場合もある。”