そのABテストの判断は本当に正しいのか？｜アナグラム株式会社
リスティング広告運用者とユーザーとの接点は、PC・タブレット・スマートフォンの画面に表示されるテキストの広告文やバナーだけです。管理画面上の入札単価をいくら執念深く細かく調整しようとも、ユーザーとの唯一の接点であるものが適切でなければ、ユーザーの心を揺さぶるのは難しいでしょう。 この大事な大事な広告文やバナーを改善していく方法が、皆様もご存じABテストです。ABテストというと「悪い方を止めればいいんでしょ！かんたんかんたん！」と思ってしまいます。しかし、自分の勘だけで判断を下すのは危険です。 ABテストは統計学でいう「標本調査」と同じなので、さわりだけでも統計の知識を付けたうえで判断を下すのが賢明であると言えます。「標本調査」とは、調べたい母集団の全体を逐一調べてまわるのではなく、全体から抽出した一部分である標本を調査し、そこから母集団全体の性質を推定することです。 ただし、リスティング広
A/Bテストでいちばん大切なこと - Kentaro Kuribayashi's blog
「A/Bテスト」が、Webサービスの最適化技法として人口に膾炙して久しい昨今ですが、それでもなお、個々の施策実行時にはいろいろと迷うことがあります。たとえば: 有用なテスト結果を得るためにパターンをどのような基準で用意すればよいのか テスト結果の統計的有意性をどのように検定すればよいのか 個々の改善がそれぞれによかったとしても、それらが局所最適に陥らないためにはどうしたらよいのか といったあたりが挙げられます。(2)については純粋に技術的な問題なので、ここでは議論しません。問題にしたいのは(1)および(3)についてです。ひとまず、いまのところ僕が思う一番大切なことをひとつだけ述べておきましょう。それは: 「それに対してなんらかの肯定的/否定的意見のあるパターンをテストする」 ということです。どういうことか。 視野狭窄的なA/Bテスト A/Bテスト、あるいは同様の最適化技法については、かつて
A/Bテストよりすごい？バンディットアルゴリズムとは一体何者か - Qiita
オバマ大統領の再選に大きく寄与したことで大きな注目を集めているA/Bテスト。A/Bテストを導入した、することを検討している、という開発現場も多いのではないだろうか。 そんな中、Web上で次のような議論を見つけた。 20 lines of code that will beat A/B testing every time Why multi-armed bandit algorithm is not “better” than A/B testing 一言でまとめると「A/Bテストよりバンディットアルゴリズムの方がすごいよ」「いやいやA/Bテストの方がすごいし」ということだ。 で、バンディットアルゴリズムとは一体何者なのか？ そこでBandit Algorithms for Website Optimization (O'REILLY)を読んでみた。その結果分かったことを踏まえてざっくりと
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
営業向け ABテストの統計学 データアーティスト
