[シリーズ]A/Bテスト改善 -A/BテストのPost analysisでインサイトを得る方法-｜Mercari Analytics Blog
A/Bテストが「やって終わり」になっている、A/Bテストからあまり学びが得られていない……A/Bテストを始めたばかりのチームや、A/Bテストが多く走っていて集計に追われているチームは、まずこういった課題を持っているのではないでしょうか。メルカリのAnalyticsチームも例外でなく、この壁にぶつかりました。 そこでAnalyticsチームでは、A/Bテスト改善の取り組みとして、A/Bテストの分析について手法を確立し、普及しようとしています。 この分析は、Experiment design docによって実験前に計画したゴール指標などの基本的な指標を計測した後、実験後にインサイトを得る目的で行なうため、「Post analysis（事後分析）」と社内では呼んでいます。そのため、この記事でもPost analysisという言葉を使いたいと思います。 この記事では、「A/Bテスト改善」シリーズの
![[シリーズ]A/Bテスト改善 -A/BテストのPost analysisでインサイトを得る方法-｜Mercari Analytics Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/745f56e3b31a20cc37aff3c54746b1b330439fc7/height=288;version=1;width=512/https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F100955863%2Frectangle_large_type_2_aeeae2544947cd4e413a398644f56b78.png%3Ffit%3Dbounds%26quality%3D85%26width%3D1280)
ABテストが難しい場合の施策効果の評価・推定方法
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。サイエンス統括本部でデータ分析による社内サービスの課題解決支援をしている関口です。 ヤフーではたくさんのABテスト（※1）が常に行われており、サービス改善に活かされています。しかしながら実際には、さまざまな理由からABテストができないことがよくあります。本記事では、そのような場合にどのようにして施策の効果を評価・推定するかについて、具体的なケースからアイデアを紹介していきます。 なお今回はYahoo!ショッピングを題材にしたケースばかりですが、アイデア自体は汎用的なものとなっています。 ※1： ABテストはウェブサービス上のUI改善、機械学習モデル改善、機能追加etc.といったさまざまな施策が、KPIにどれくらいのイン
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
