A/Bテストよりすごい？バンディットアルゴリズムとは一体何者か - Qiita
オバマ大統領の再選に大きく寄与したことで大きな注目を集めているA/Bテスト。A/Bテストを導入した、することを検討している、という開発現場も多いのではないだろうか。 そんな中、Web上で次のような議論を見つけた。 20 lines of code that will beat A/B testing every time Why multi-armed bandit algorithm is not “better” than A/B testing 一言でまとめると「A/Bテストよりバンディットアルゴリズムの方がすごいよ」「いやいやA/Bテストの方がすごいし」ということだ。 で、バンディットアルゴリズムとは一体何者なのか？ そこでBandit Algorithms for Website Optimization (O'REILLY)を読んでみた。その結果分かったことを踏まえてざっくりと
A/Bテストで素人が陥る罠： 神が宿るというディテールよりも先に…… | Moz - SEOとインバウンドマーケティングの実践情報
ジェイソン・コーエン氏が6月に公開したA/Bテストに関する記事は、もっと注目を集めていいし、もっと詳しく掘り下げられるべきだ。オンラインマーケティングの世界にいる人間ならたいてい、クリックスルー率、会員登録率、コンバージョン率などを改善できるA/Bテストの威力を知っている。ページを訪問した人が望ましいアクションを起こす割合を高められるというのは、すばらしいことだ。 しかし、テストの仮説を立ててから、立案、開発、実行へと至るプロセスには、危険が満ちている。そして、いちばん目立たないが最も油断ならない落とし穴の1つが、実はテストの対象として何を選択するかなんだ。 グラフで見る「極小値」問題 ランディングページの各要素をテストするというのは確かに面白いし、やる価値がある場合もある。しかし、ランディングページや製品ができたばかりの段階では、適切でないことが多い。実際に、上の図にあるように、グラフに
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
