マーケターの行動量が増える、たった17個の方法｜栗原康太昨年読んだハーバードビジネスレビューの論文の中で非常に好きなものがありまして、マイクロソフトがここ10年取り組んでいるA/Bテストに関する効果や方法論を紹介・考察したものです。 マイクロソフトのBingでは、ある簡単なアイデアをA/Bテストを経て実装し、売上が11％（米国だけで年間1億ドル以上！）も増えたらしいですが、A/Bテストの効果以上に、以下の文章が心に残りました。 大部分は実験でうまくいかず、どれが効果を生むかは専門家でも判断を間違いやすい。 グーグルやBingの場合、実験のうちよい結果が出るのは10～20％にすぎない。マイクロソフト全体では、三分の一が有効、三分の一が変化なし、三分の一が悪影響である ※マイクロソフトの分析チームに学ぶ A/Bテストの効果的な実施法 2018年7月号つまり、マイクロソフトに所属するような非常に賢い人たちがやっても施策の成功率は30％前後しかない、と
