[B! ABテスト] Aobeiのブックマーク

ABテストが難しい場合の施策効果の評価・推定方法

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。サイエンス統括本部でデータ分析による社内サービスの課題解決支援をしている関口です。ヤフーではたくさんのABテスト（※1）が常に行われており、サービス改善に活かされています。しかしながら実際には、さまざまな理由からABテストができないことがよくあります。本記事では、そのような場合にどのようにして施策の効果を評価・推定するかについて、具体的なケースからアイデアを紹介していきます。なお今回はYahoo!ショッピングを題材にしたケースばかりですが、アイデア自体は汎用的なものとなっています。 ※1： ABテストはウェブサービス上のUI改善、機械学習モデル改善、機能追加etc.といったさまざまな施策が、KPIにどれくらいのイン

Aobei 2023/03/23

リンク

A/Bテストの評価をベイズ統計でやってみない？ - tdualのブログ

遊びでA/Bテストの評価をベイズ統計でやってみたら、思いのほか面白かったので記事に残します。用語の定義コンバージョンコンバージョン率 A/Bテストコンバージョンの確率分布なぜベイズ統計を使うのか割合の問題点尤度と最尤法尤度最尤法ベイズ統計ベイズの定理共役事前分布ベータ分布事後分布の導出事後分布のグラフベイジアンA/Bテストの実装コード使用例本番っぽい使い方カイ二乗検定と比較最後に用語の定義コンバージョンコンバージョンとは「Webサイト上で起きた最終的な成果」のことです。具体的に何を意味するかはサイトの種類によっては様々です。例えば、ECサイトでは商品の購入で、SNSでは会員登録などです。コンバージョン率コンバージョン率は「成果に繋がる最初の行動に対して実際に成果に繋がった割合」のことです。 ECサイトではある商品が購入された数をその商

Aobei 2023/01/10

リンク

pooneilの脳科学論文コメント: R演習補講 (2腕バンディット問題を題材に)

■ R演習補講 (2腕バンディット問題を題材に) 北大CHAINのウィンタースクール2020では、集団的意思決定のモデリングについての講義と演習があります。そちらの準備用資料として「RとRStudioの基本について、強化学習の初歩的な例である2腕バンディット問題を題材に説明する」というものを学生向けに吉田が作成しました。この資料はそちらを公開用に編集したものです。じつのところ私はRやRStudioを使うのも久しぶりで、強化学習についても素人ですが、この機会にこういう資料を自力で作って公開すれば、間違いも指摘してもらえるかもと期待して公開する次第です。 Sutton and Barto (2020) "Reinforcement Learning: An Introduction (2nd ed)"の2章が一応の元ネタですが、それをなるたけ単純化したところが特徴です。(apply関数使う前

Aobei 2020/12/28

リンク

ABテストとは？王道4つの分析パターンとおすすめツールまとめ | LISKUL

サイトの成果を改善しようと思うと、ABテストは欠かせません。しかしいざABテストをやろうと思っても、どこをどう変えたらいいのか分からないという方もいらっしゃると思います。 ABテスト初心者でも簡単にサイト改善する方法今回は初心者の方でも実施できるように、ABテストをおこなう実際の手順や気を付けるべきポイントをまとめました。 LISKULで実際におこなったABテストの事例も公開しているので、サイトの成果を高めていきたい方はぜひ参考にしてみてください。参考：【2023年最新版】おすすめのABテストツール7選を比較！選び方も紹介そもそもABテストとは？ABテストとは、「ある特定の期間にページの一部分を2パターン用意して、どちらがより効果の高い成果を出せるのかを検証すること」です。例えば上記のボタンのようにどちらの色がより結果を出せるのか？といったヴィジュアル一つでもコンバージョンへの影響