メルカリにおけるA/Bテスト分析自動化の取り組み | メルカリエンジニアリング
こんにちは、メルカリのレコメンデーションチームで Software Engineer をしている @yaginuuun です。主に推薦を通じたホーム画面における体験改善に取り組んでいます。 元々はデータアナリストとしてデータ分析関連の業務を担う傍らA/Bテストのワークフロー改善にも取り組んできました。 Mercari Advent Calendar 2022 の12日目では、去年から今年にかけて取り組んできたA/Bテスト分析の自動化について、課題感や実際の実装などについて触れていきます。 背景 A/Bテストは世界中の企業で導入されている効果検証のゴールドスタンダードとも呼べる手法であり、メルカリでも毎日のようにA/Bテストを用いた改善活動が行われています。 A/Bテストは一見とてもシンプルな効果検証手法ですが、それを適切に使用するためにはさまざまな統計的事項やアンチパターンを考慮する必要が
KDD 2019, AdKDD 参加レポート - CARTA TECH BLOG
こんにちは @hagino3000 です。去年に引き続き今年もデータマイニングの国際会議であるKDDに参加してきました。本稿は主にアドテク及びマーケティング関連の発表に焦点を当てたレポートです。 www.kdd.org Index なぜKDDに参加するのか Tutorial Day AdKDD 2019 Tencent Ads: Interesting Problems and Unique Challenges From the Clouds to the Trenches: Learning to Manage the Marketplace In-app Purchase Prediction Using Bayesian Personalized DwellDay Ranking 本会議 マーケティングにおける逆強化学習・逆最適化 マーケットデザイン 羅生門効果 (Rashomon
悪用厳禁：絶対に成功するA/Bテストの作り方
ソフトウェアエンジニアの間でも一般的な言葉になった「機械学習」。本書では、その機械学習やデータ分析の道具をどのようにビジネスに生かしていけば良いのか、また不確実性の高い機械学習プロジェクトの進め方などを「仕事で使う」という観点から整理し… オライリージャパンさんからは、売れ行きがとてもいいという話を伺っており、これで新しいノートPCを買う足しになるかなぁと思っています。 物理本については少数ですが、Cloudera World Tokyo2017で限定販売されるそうです。CWT2017申し込みが始まったので、物理版がほしい方は申し込むとよいんじゃないでしょうか。 書評もいくつか届いており、勝手ながら紹介させていただきます。
A/B テストで施策の効果を検証！エンジニアのための R 入門 - クックパッド開発者ブログ
こんにちは、買物情報事業部でサーバサイドの開発を担当している荒引 (@a_bicky) です。 今回のエントリでは R で A/B テストの結果検証を行う方法の一例について紹介します。 エンジニアでも自分の関わった施策の効果検証のために簡単な分析をすることがあるかと思いますが、そんな時にこのエントリが役立てば幸いです。 なお、次のような方は対象外です。 A/B テストや KPI の設計に興味のある方 この辺には全く触れません プログラミング初心者 わからない単語が大量に出てくるでしょう R で統計学や機械学習の手法をバリバリ使いたい方 世の中の “分析” の多くは集計処理がメインです Python, Julia など既に分析する上で使い慣れた言語・ツールがある方 今回のエントリ程度の内容であればわざわざ乗り換える必要もないでしょう OS は Mac を前提として説明するので、Windows
ABテストでCVR改善に成功した海外事例まとめ15選！ | LISKUL
「海外ではABテストが盛ん」という言葉を耳にし、その内容が気にはなるものの、実際にそのノウハウや事例を外国語で仕入れるのは一手間だと、先送りにしてしまう人も多いのではないでしょうか。（かくいう私も「先送り」の日本代表です。） そんな皆様の一手間を解消すべく、海外のABテストの事例とその要点を日本語でまとめてみました。 普段から気になっている海外の事例を、どうぞサクッと日本語で仕入れちゃってください。 ※本記事は2014年5月19日に公開された記事をLISKUL編集部にて再編集したものです。 グローバルナビゲーションの削除とフォームの変形でCVR336％http://unbounce.com/a-b-testing/how-a-single-a-b-test-increased-conversions/ ・オリジナルページの特徴は、上部に分厚いグローバルナビが配置されていることと、右カラムに
UI変更批判バトルと複数のバージョンのウェブサービスを同時に配信することについて - hitode909の日記
ウェブサービス，UI変えると，改悪とか，元に戻してとか，そういう意見が出る． サービス提供する側の立場では，新しいUIのほうが使いやすかったり，機能が増えたり，収益が増えたりするので，新しい方を多くの人に提供することに価値がある．使いやすいかとか，儲かるかとかは，リリースまでに調べておく必要があり，リリースの結果使いにくくなったり収益減ったりしたら，失敗ということになる． 一方で，ユーザーの立場からすると，前の方がずっと使ってて愛着があったとか，新しい方を覚えるのは手間とか，確かにという感じはする．また，ウェブサービスは最終的にユーザーの手元のブラウザで表示されて動くので，映画の結末が気に入らないから変えたいといった要望よりは，受け入れやすい．データ構造についての，サーバー側の処理についてのユーザーからの要望というのはあまりなくて，このボタンがどうみたいな，UIの要望が多いと思う． 全部置
バンディットアルゴリズム入門と実践
Tokyowebmining発表用資料です。複数の選択肢がある場合に、どのように選択を行うのが効率的なのか？という問題を解決するためのアルゴリズムです。Read less
多腕バンディット テスト - アナリティクス ヘルプ
Google アナリティクス ウェブテストの基盤を成す統計手法について説明します。Google アナリティクスでは、ウェブテストの手法として多腕バンディット方式を採用しています。多腕バンディット テストには、次のような特徴があります。 最も利益の大きい選択肢の特定を目標とする ランダム分布がテストの進行とともに更新される 「多腕バンディット（multi-armed bandit）」という名前は、それぞれに異なる見込み配当率が設定された、「One-armed bandit（片腕の盗賊）」というスロット マシンが複数並んでいる状況を模した仮説テストという意味を持っています。スロット マシンのプレイヤーは、最も見込み配当率が高いスロット マシンを見つけ出す必要がある一方で、利益を最大化する必要もあります。この状況では、これまでの配当率が最も優れているマシンのみをプレイするか、それともさらに配当率
TechCrunch | Startup and Technology News
When Alex Ewing was a kid growing up in Purcell, Oklahoma, he knew how close he was to home based on which billboards he could see out the car window.…
Apache2 Debian Default Page: It works
This is the default welcome page used to test the correct operation of the Apache2 server after installation on Debian systems. If you can read this page, it means that the Apache HTTP server installed at this site is working properly. You should replace this file (located at /var/www/html/index.html) before continuing to operate your HTTP server. If you are a normal user of this web site and don'
簡単なA/Bテストでランディングページの売上を倍増させる6つの方法
ユーザーに届ける価値を徹底的に追求する マーケティングを提供します © Copyright 2022 バズ部. All rights reserved. ランディングページのコンバージョンを最大化するためには、継続的なA/Bテストが不可欠だ。 A/Bテストは地道な作業だが、根気づよく実践すると、自分自身、驚くぐらいに数字が改善されていく。 しかし、実際にA/Bテストをするとなると、どこから手をつければ良いのか分からなくなってしまう方も多いのではないだろうか？ そこで、本日は、A/Bテストによって、ランディングページのコンバージョンを倍増させるための方法を、６つの事例とともにご紹介する。ぜひ、参考にして欲しい。 事例１．キャッチコピーを変更後コンバージョンが1.44倍にランディングページにとって、キャッチコピーは何よりも重要性だ。そのため、キャッチコピーの作成だけで執筆時間の８割を使うコピー
Abba - JavaScript a/b testing
March 12, 2013 Abba - JavaScript a/b testing Abba is a self-hosted a/b testing framework built to help improve conversion rates on your site. Tuning signup and payment forms can have huge effects on your business, and it’s a good idea to supplement design and copy changes with data on how differences actually effect conversion. We built this tool for internal use at Stripe, and today we’re open-so
ABテストのための有意性検定 - Qiita
こんにちは、awakiaです。今回のアドベントカレンダー、結構、機械学習ガチなメンツが揃ったみたいなので、俺も対抗してやる！！とも思ったのですが、研究を離れて2年が経とうとしているので、真っ向勝負とか今更無理なことに気づきました...ｗ なので、開発者の皆も知っておくと便利なデータサイエンスの話をすることにします。 ABテストと検定の必要性 Webサービスを運営していると、見た目の問題だけでも結構悩みます。ボタンの色や文言などの小さなところから、トップページに盛り込む内容をどうするかまで、いろいろです。 今回、「ABテスト」と呼ぶものは、画面に占める大きさ等にかかわらず、パターンAとパターンBを作って、そのどちらがいいかを判断するための実験と定義することにします。 なお、ABテストの呼び名には結構流派があるので別の名前で聞いたことがあるかもしれません。例えば、Googleのマット・カッツ先
UXの効果が数字でわかる！5つのUX KPI : DeNA Creator(クリエイター) Blog
プログラミング教育や社員の健康をサポートする「CHO室」の取り組みなど、DeNAのCSRに関する情報を発信するブログ
A/Bテストの数理 - 第4回：実分野における9個のテストパターンについて その1 - - doryokujin's blog
スケジュール 第1回 [読み物]：『人間の感覚のみでテスト結果を判定する事の難しさについて』：人間の感覚のみでは正しくテストの判定を行うのは困難である事を説明し，テストになぜ統計的手法が必要かを感じてもらう。 第2回 [読み物]：『「何をテストすべきか」意義のある仮説を立てるためのヒント』：何をテストするか，つまり改善可能性のある効果的な仮説を見いだす事は，テストの実施方法うんぬんより本質的な問題である（かつ非常に難しい）。意義のある仮説を立てるためのヒントをいくつか考える。 第3回 [数学]：『テストの基本的概念と結果の解釈方法について』：テストの基本的な数学的概念を説明し，またテスト結果をどのように解釈するのかを説明する。 第3回補足 [数学]：『仮説検定の概念を改めて考える』：テストの概念をもう少し丁寧に説明する。 第4回 [数学]：『実分野における9個のテストパターンについて』その
A/Bテストの数理 - 第1回：人間の感覚のみでテスト結果を判定する事の難しさについて - - doryokujin's blog
データ解析の重要性が認識されつつある（?）最近でさえも，A/Bテストを始めとしたテスト（ = 統計的仮説検定：以後これをテストと呼ぶ）の重要性が注目される事は少なく，またテストの多くが正しく実施・解釈されていないという現状は今も昔も変わっていないように思われる。そこで，本シリーズではテストを正しく理解・実施・解釈してもらう事を目的として，テストのいろはをわかりやすく説明していきたいと思う。 スケジュール スケジュール 第1回 [読み物]：『人間の感覚のみでテスト結果を判定する事の難しさについて』：人間の感覚のみでは正しくテストの判定を行うのは困難である事を説明し，テストになぜ統計的手法が必要かを感じてもらう。 第2回 [読み物]：『「何をテストすべきか」意義のある仮説を立てるためのヒント』：何をテストするか，つまり改善可能性のある効果的な仮説を見いだす事は，テストの実施方法うんぬんより本質
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fluentd, mongoDB, Kibanaを利用したはてなブログABテストの事例
Sign in - Google Accounts
Visual Website Optimizer: Another Way To Run A/B Tests On Your Site | TechCrunch
GitHub - danmaz74/ABalytics: Simple client-side A/B testing in pure javascript
