2021/7/28, Retty ✕ Mercari Analyst Talk Night! https://mercari.connpass.com/event/218848/
メルカリにおけるA/Bテスト標準化への取り組み
2021/7/28, Retty ✕ Mercari Analyst Talk Night! https://mercari.connpass.com/event/218848/
Selection Bias in Online Experimentation
Take a break for a few minutes outside “Cairo’,” one of our kitchens in San Francisco. The coffee is hot, and the view is fabulous. In online experimentation platforms, we choose the experiments with significant successful results to launch to the product. When estimating the aggregated impact of the launched features, we investigate a statistical selection bias in this process and propose a corre
Quasi Experimentation at Netflix – Netflix TechBlog – Medium
Colin McFarland, Michael Pow, Julia Glick Experimentation informs much of our decision making at Netflix. We design, analyze, and execute experiments with rigor so that we have confidence that the changes we’re making are the right ones for our members and our business. We have many years of experience running experiments in all aspects of the Netflix product, continually improving our UI, search,
グロースとは学びを得ること - 後編｜Go Ando / PREDUCTS / THE GUILD
こんにちは、THE GUILDの@goandoです。 「グロースとは学びを得ること - 前編」の続きです。 後編ではグロースにおけるABテストの価値について、グロースに取り組む中で得た気付きと世界の動向をご紹介します。 正しいABテスト多くの方がご存知のABテストですが、時折見かけるのが「改善案Aと改善案Bの方法のどちらがより良い結果に繋がるかを検証」するための方法として利用し、更には全てのユーザーをランダムに50% vs 50%にスプリットして行っているケースです。 これは正しいABテストの利用方法ではなく、本来は「現在の仕様A(対照群)に対し別の仕様B(介入群)の結果を比較」する実験方法で、仕様Bのみを特定の条件でランダムに抽出した一部の対象に対してのみ行い、元の状態との比較を行うのが本来の活用方法です。 ABテストは統計学や疫学の歴史の中で成り立ったランダム化比較試験の方法に基いてお
A/Bテストよりすごい？はじめてのインターリービング - Gunosyデータ分析ブログ
はじめに こんにちは。メディアデータ分析部の飯塚(@zr_4)です。 弊社では現在、複数のニュース形式のアプリケーションを運用しており、各プロダクトでユーザーの趣向にあうような記事リストのパーソナライズを行っています。 左から：LUCRA、ニュースパス、グノシー そのため、記事のランキングに関するA/Bテストをする機会が多々あり「少数のユーザーで高速に有力なパラメータを探したい」というニーズがありました。 今回は上記ニーズを満たすべく、グノシーの本番環境に導入したインターリービングを紹介します。 インターリービングとは 概要 インターリービングは高感度なランキング評価手法です。 実験的に、10倍から100倍従来のA/Bテストよりも効率的であることが知られています。*1 従来のA/Bテストにおいて、2つのランキングリストを評価する際は、ユーザを2つの群に分け各々に別々のランキングリストを提示
シリコンバレーのIT企業が利用しているA/Bテスト手法まとめ - データ分析エンジニアのブログ
いま注目すべきシリコンバレーの有名なIT企業は新規のデザインや機能が有効かどうかを検証するためにA/Bテストを行っています。 その一方で、日本の企業も含め、A/Bテストを本番環境で導入している企業は非常に少ないです。 加えて、日本で言われているA/Bテストと海外で言われているA/Bテストは少々異なるものだと感じています。 日本のA/Bテストはフォームの最適化やデザインの修正にとどまっている一方で、海外のA/Bテストはプロダクト開発のサイクルの一部分となっています。 プロダクト開発のサイクルの一部としてA/Bテストを取り入れるためには、大量のテストを定常的に回していく仕組みが必要となってきます。 そこでデータドリブンであると言われているようなシリコンバレーのIT企業は自社でA/Bテストの基盤を作成しています。 今回は社内A/Bテスト勉強会で発表するために、シリコンバレーの有名IT企業がどのよ
A/Bテストのガイドライン：仮説検定はいらない（Request for Comments｜ご意見求む） - 廿TT
本記事の編集方針 ※この記事に興味をもたれた方は、 A/Bテスト カテゴリーの記事一覧 - 廿TT も、必要に応じてご覧いただければと思います。 本記事はもともとは、「A/Bテストの数理」への批判：「有意」とはなにか の続き的なエントリでした。 しかし、予想外に反響があったため Request for Comments（ご意見求む）の精神で、随時更新している部分もあります。 ただし、ベースとなる主張、Web系施策のA/Bテストに、仮説検定は向かないという部分は変化していません。 もしぼくの考えが変わり、「やっぱ仮説検定、いいかも」となった場合、本記事の存在価値はほぼ消滅します。 そのようなことがあれば、ページ最上部に「考えが変わりました」と明記します。 また、他の修正箇所も区別して明記し、差分がわかるようにします。 ただし細かい言い回しや、誤字脱字等はだまって修正します。 目次： そもそも
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Go Ando / PREDUCTS / THE GUILD on Twitter: "UberのA/Bテスト基盤 Experimentation Platform (XP) に久しぶりにアップデートがあった。 ✓ 常に1000超のExperimentが走っている ✓ Experimentには3つのタイプがある… https://t.co/3IdID4lZh6"
The complex relationship between data and design in UX