なぜあなたのA/Bテストはうまくいくのか？A/Bテストの分析で注意すること | CyberAgent Developers Blog
概要 同じ介入を比較するA/Aテストで統計的に有意な差が出てしまうケースがある その原因は、A/Bテストの指標の設計に失敗していることかもしれない この問題の対処法としてユーザベースCTR、デルタメソッド、クラスターロバスト標準誤差を紹介する これらの手法は実務で運用する上では一長一短 はじめに AI事業本部Dynalystの伊藤、小売セクターの藤田(@6km6km)です。 DynalystはReal Time Biddingと呼ばれる広告オークションにおいて広告枠の買付を行うプラットフォーム（DSP: Demand Side Platform）です。DSPでは、ユーザに広告を表示する際に複数あるクリエイティブの候補からひとつクリエイティブを選ぶ必要があり、その選択ロジックにバンディットアルゴリズムを用いています。（参考リンク1, 2） 以下では、バンディットアルゴリズムのA/Bテストをす
検索エンジンのABテストで発生するユーザー内相関を突破する - エムスリーテックブログ
この記事はエムスリー Advent Calendar 2021 1日目の記事です。 明日からも面白い記事が続々投稿されるので、ぜひ購読・拡散お願いします！ qiita.com エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(@po3rin) です。好きな言語はGo。情報検索系の話が好物です。 最近検索エンジンの改善やアルゴリズムの変更などの効果を分析する機会が多くなってきたのですが、ABテストの効果検証でやらかしてしまい、改めてABテストについて復習しています。そこで「A/Bテスト実践ガイド」という本を読みました。 A/Bテスト実践ガイド 真のデータドリブンへ至る信用できる実験とは (アスキードワンゴ) 作者:Ron Kohavi,Diane Tang,Ya Xu,大杉 直也ドワンゴAmazon この本で、私が陥った大量にクリックするユーザー
多腕バンディット問題とA/Bテスト (Part 1) | リクルート
リクルートデータ組織のブログをはじめました。※最新情報はRecruit Data Blogをご覧ください。 Recruit Data Blogはこちら みなさん、こんにちは。ギャンブラー🤡の鹿野です。 今回は、機械学習の分野で注目を集めている多腕バンディット問題の中でも、 特にWebサイト最適化の文脈でしばしば出てくる確率的多腕バンディット問題 (stochastic multi-armed bandit problem) の基本的な枠組みとそれを解くアルゴリズムについて解説いたします (簡単のため、以下では「確率的多腕バンディット問題」を単に「多腕バンディット問題」と表記します) 。 本記事を読み終わったあとには 多腕バンディット問題の基本的な枠組みとそれを解くアルゴリズム Webサイト最適化においてどのように役に立つのか A/Bテストと多腕バンディット問題の関係 について理解ができる
Double-bucketing in A/B Testing - Code as Craft
Previously, we’ve posted about the importance we put in Etsy’s experimentation systems for our decision-making process. In a continuation of that theme, this post will dive deep into an interesting edge case we discovered. We ran an A/B test which required a 5% control variant and 95% treatment variant rather than the typical split of 50% for control and treatment variants. Based on the nature of
ほとんどの人が勘違いしているグロースハックにおける最適なフレームワーク｜梶谷健人 / 新著「生成AI時代を勝ち抜く事業・組織のつくり方」
グロースハックにおいて、最も有名なモデルはおそらく 「AARRR(アー)」モデルでしょう。 サービス全体をユーザーの行動に合わせた5段階のステージに分け、各段階の離脱率をファネル(ろうと)の形で整理したものです。 「AARRR」 は 、 ①ユーザーを獲得 (Acquisition、アクイジション）し、②そのユーザーにサービスの価値を感じさせ(Activation、アクティベーション)、③繰り返しサービスを使ってもらい(Retention、リテンション)、 ④友人紹介 (Referral、リファラ ル)や⑤課金(Revenue、レベニュー)をしてもらう、という5つの段階でユーザーの流れを整理し、改善箇所を発見するためのフレームワークです。 AARRRモデルはユーザーの動きを把握するフレームワークとしては非常に強力です。 しかし、このモデルに沿って
思うところがあってGoogle Analyticsを使ったABテスト方法をおさらいしてみた - Qiita
思うところがあってGoogle Analyticsを使ったABテスト方法をおさらいしてみた。 TL;DR やること 1つのviewでABテストをする。 設定 なんにせよ、まずはGAを。 <script async src="https://www.googletagmanager.com/gtag/js?id=UA-613309-1"></script> <script> window.dataLayer = window.dataLayer || []; function gtag(){dataLayer.push(arguments);} gtag('js', new Date()); gtag('config', 'UA-613309-1'); </script>
ABテストで「女の子クリエイティブ」の神話崩壊。まったく出会えないチャットアプリ「ひまチャット」が教える、意外だったABテスト事例4 | アプリマーケティング研究所
ABテストで「女の子クリエイティブ」の神話崩壊。まったく出会えないチャットアプリ「ひまチャット」が教える、意外だったABテスト事例4 まったく出会えないチャットアプリ「ひまチャット」さんにお話を伺いました。 ※ALTR THINK株式会社 CEO 森口拓也さん（左）、森岡さん（右） 「ひまチャット」について 「ひまチャット」について教えてください。 森口： 「ひまチャット」は出会わない系のチャットアプリです。「ども！」というボタンから、日本中のいろんなヒマな人たち（匿名）に話しかけて、ヒマつぶしをすることが出来ます。 いまどのくらいのユーザーがつかっていますか？ 森口： いまのところ、登録ユーザー（≒ダウンロード数）が約100万人、MAUがざっくり20万人です。男女比としては半々くらいですね。 メッセージ数でいうと、全体で月に6,000万メッセージ（累計でいうと10億メッセージ）くらい、や
【実録】36回のABテストでCV率8.3倍を実現するまでの全記録｜MarTechLab（マーテックラボ）
皆さんこんにちは。ギャプライズ鎌田（@kamatec）です。 突然ですがまずはこの図をご覧ください。 7ヶ月でCV（コンバージョン）率8.3倍。 これは、私たち改善チームが実に36回、ほぼ週1回のペースでABテストを繰り返し到達した数字です。 下記はチーム内で実際に利用していたABテストアイデアを集約していたスプレッドシートですが、検討したテストアイデアだけでいえばなんと120個ものアイデアが出ていました。 今回は、この36回のABテストにおいて “どのような思考プロセスのもとそれらが実行され、最終的にCV率8.3倍を実現したのか？” についての詳細を明らかにしていこうと思います。 ABテストは成功した時以上に、失敗したテストからどのような気付きを得るかが重要です。そこで成功例だけではなく、実際の失敗例とそこで改善チームがどう新たな仮説を構築するに至ったのかまで解説していきます。 それでは
Bayesian AB Testing | Lyst Engineering Blog
Click here if you are looking for our interactive A/B testing inference machine. Otherwise, read on! A/B testing is an excellent tool for deciding whether or not to go ahead with rolling out an incremental feature. To perform an A/B test, we divide users randomly into a test and control group, then serve the new feature to the test group while the control group continues to experience the current
一度は試してみるべきA/Bテスト11 | growthhack.jp
以下のブログで「一度はためしてみるべきA/Bテスト11」というポイントが紹介されていました »11 Obvious A/B Tests You Should Try 以下にざっと紹介いたします 1.広告に「無料」の文字を入れる 2.解説用動画を用意する 3.スクロールするサインアップボタンを設置 4.フォームの項目を減らす 5.申し込みページを分ける（基本情報と支払い情報とか） 6.スクリーンショットではなく、動画での利用画面を用意 7.「無料トライアル」か「不満足には返金保証」の制度を用意 8.無料期間の期間を調整 9.早い人への割引（先着100人とか） 10.ボーナスのおまけをつける（300ドル分の利用券とか） 11.ボタンの色 「1」「3」「4」「8」「9」「10」「11」は比較的、軽く対応できそうです 「2」「6」であるように、動画を使った解説は海外のソーシャルメディアではかなり目
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Interpreting A/B test results: false positives and statistical significance
Expo：Walmart LabsでのSpark StreamingとKafkaを使ったリアルタイムA/Bテストとモニタリング
A/Bテスト機構がもたらす
大胆な開発体制及び
ゆるやかなアプリ体験の変化 / Architecture and benefits of AB-test allocation system.
言語依存のないABテストフレームワーク「Sixpack」:phpspot開発日誌