A/Bテストでいちばん大切なこと - Kentaro Kuribayashi's blog
「A/Bテスト」が、Webサービスの最適化技法として人口に膾炙して久しい昨今ですが、それでもなお、個々の施策実行時にはいろいろと迷うことがあります。たとえば: 有用なテスト結果を得るためにパターンをどのような基準で用意すればよいのか テスト結果の統計的有意性をどのように検定すればよいのか 個々の改善がそれぞれによかったとしても、それらが局所最適に陥らないためにはどうしたらよいのか といったあたりが挙げられます。(2)については純粋に技術的な問題なので、ここでは議論しません。問題にしたいのは(1)および(3)についてです。ひとまず、いまのところ僕が思う一番大切なことをひとつだけ述べておきましょう。それは: 「それに対してなんらかの肯定的/否定的意見のあるパターンをテストする」 ということです。どういうことか。 視野狭窄的なA/Bテスト A/Bテスト、あるいは同様の最適化技法については、かつて
A/Bテストのガイドライン：仮説検定はいらない（Request for Comments｜ご意見求む） - 廿TT
本記事の編集方針 ※この記事に興味をもたれた方は、 A/Bテスト カテゴリーの記事一覧 - 廿TT も、必要に応じてご覧いただければと思います。 本記事はもともとは、「A/Bテストの数理」への批判：「有意」とはなにか の続き的なエントリでした。 しかし、予想外に反響があったため Request for Comments（ご意見求む）の精神で、随時更新している部分もあります。 ただし、ベースとなる主張、Web系施策のA/Bテストに、仮説検定は向かないという部分は変化していません。 もしぼくの考えが変わり、「やっぱ仮説検定、いいかも」となった場合、本記事の存在価値はほぼ消滅します。 そのようなことがあれば、ページ最上部に「考えが変わりました」と明記します。 また、他の修正箇所も区別して明記し、差分がわかるようにします。 ただし細かい言い回しや、誤字脱字等はだまって修正します。 目次： そもそも
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
