nabokov7; rehash : A/Bテストで出来ること、出来ないこと
June 16, 201415:28 カテゴリサービス作りの話 A/Bテストで出来ること、出来ないこと A/Bテストに頼るべきでない判断に、次の二つがあると思う: 「正しさ」に基づく判断 長期的な判断 ■サービスの思想的に、設計的に、あるいは倫理や法律的に正しいかどうか、についてはカバーしてくれない。 例えばパスワードが簡単すぎたら警告を出す会員登録フォームと、文句言わずに受け付ける登録フォームとを比べたら、たぶん後者の方が登録率はよくなるわけですよ。あるいは、でかい広告と小さい広告を比べたら、クリック率は単純に面積に比例して大きくなる。 A/Bテストは、人間の本能的な、あるいはとても正直な反応をさらけだす仕組みだ。しかし人間の反射的な行動って、利己的だったり、後で大きな間違いにつながったりもしがち。人間が、深い考え無しに行動することで起こしがちな間違いは、そのままA/Bテストが起こしがち
A/Bテストのガイドライン：仮説検定はいらない（Request for Comments｜ご意見求む） - 廿TT
本記事の編集方針 ※この記事に興味をもたれた方は、 A/Bテスト カテゴリーの記事一覧 - 廿TT も、必要に応じてご覧いただければと思います。 本記事はもともとは、「A/Bテストの数理」への批判：「有意」とはなにか の続き的なエントリでした。 しかし、予想外に反響があったため Request for Comments（ご意見求む）の精神で、随時更新している部分もあります。 ただし、ベースとなる主張、Web系施策のA/Bテストに、仮説検定は向かないという部分は変化していません。 もしぼくの考えが変わり、「やっぱ仮説検定、いいかも」となった場合、本記事の存在価値はほぼ消滅します。 そのようなことがあれば、ページ最上部に「考えが変わりました」と明記します。 また、他の修正箇所も区別して明記し、差分がわかるようにします。 ただし細かい言い回しや、誤字脱字等はだまって修正します。 目次： そもそも
【検証】クリックされるボタンの色は？ | WebNAUT by Beeworks
検証したパターン 調査結果 全アクセスのコンバージョン率（CVR） 結果は下記の通りとなりました。 なんと！緑色がもっともCVRが低いという結果になりました。 どうやら、無条件に「緑色のボタンはクリック率が高い」という結果にはならないようです。 Firefoxをダウンロードしたユーザーと、ビーワークスの採用に応募しようとしたユーザーには、何か違いがあったのでしょうか？ 「どこから流入したか」によって結果に違いがあった 調査対象ページにアクセスしたユーザーは、何かきっかけがあって、ビーワークスの採用に興味を持ってアクセスしているはずです。そこで、どこから流入したのか、「参照元」のセグメント別に結果を分けて分析してみます。 こうやってセグメント別に分けてみると、参照元によってCVRの平均値自体に大きな差があることがわかります。CVR順に並べると、検索 ＞ WebNAUT ＞ なめぱら という結
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
