仮説検証とサンプルサイズの基礎 - クックパッド開発者ブログ
パートナーアライアンス部 森田です。有料会員の獲得施策や、それに関わるサービス内動線の最適化を担当しています。 記事の対象 仮説検証を通じて何かを改善をしたいと思っている人 仮説検証の際に「どれくらいのデータを集めたら良いか」分からない人 はじめに 仮説検証とは「仮説を立て、それを証明するためのデータを集め、真偽を確かめること」です。今回は仮説検証を行う際の手順と、その検証に必要なサンプルサイズの考え方を説明します。サンプルサイズの話のみ関心があるかたは、前半を飛ばし「サンプルサイズの決め方」を読んでください。 目次 記事の対象 はじめに 目次 仮説検証のつくりかた 1. 仮説をたてる 2. 施策/KPIを考える 3. 仮説検証後のアクションを決める 4. 対象を決める 5. サンプルサイズを計算する サンプルサイズの決め方 答えを先に サンプルサイズを決める二つの要素 「二つの平均値」と
「AbemaTV」のデザインは「A/Bテスト」にどう向き合うか？ | CyberAgent Developers Blog
目次 ・はじめに～なぜ「A/Bテスト」を導入したのか～ ・「AbemaTV」におけるA/Bテストの具体例 ・A/Bテストによる恩恵、そして課題 ・どう向き合っていくか？ ・最後に はじめに～なぜ「A/Bテスト」を導入したのか～ 「AbemaTV」では、日々プロダクトの様々なグロースを行なっています。 その検証手段として導入している「A/Bテスト」に対して、デザインがどう向き合うか？を記していきます。 なお、本記事は「A/Bテストの正しい方法論」や「統計や分析に対する論点」ではなく、「デザインがどう向き合っていくか？」という考え方の部分を書いていきます。 「AbemaTV」は2016年4月にリリースし、直後から新機能追加やグロース施策を実施してきました。 デザインが関わるグロースの軸は、2019年時点で主要なKPI毎に5つのプロジェクトがあり、それぞれにUIデザイナーが1~2名ずつ所属してい
wm_apabtest-4844
今のあなたのスマホには、いくつのアプリがダウンロードされていますか？ 日本人のスマホにインストールされているアプリは平均36個、過去30日に使用したアプリの数は8個、インストールしている有料平均アプリは18個だそうです。 （参考：アプリマーケティング研究所｜世界各国のアプリ平均保有数、スマホ普及率、検索エンジン・SNS利用率まとめ-「Our Mobile Planet2013」） 昨年末発表された、アプリ調査会社アップアニーの調査でも、日本のユーザーによるスマホやタブレット端末向けのアプリの売上高が、アメリカを抜いて世界1位（2013年10月時点）となり、日本のスマホアプリの市場がとても成長していることが分かります。 （参考：アプリマーケティング研究所｜世界で一番稼いでいるのはパズドラとLINE！App Annieによる2013年のアプリ市場9つのトレンド-D2CRアプリセミナー） アプリ
iOS/AndroidアプリのABテスト事情を調べてみた - Qiita
PCやスマホとかのWebサイトに対してA/Bテストやる方法は結構いろいろありますね。 有名どころだと optimizely とか、最近だと planBCD とか。 iPhoneとかAndroidとか、ネイティブアプリとかたくさん作っている時代ですし、同じことはどうやってるのか。 ストアにリリースした後に検証・分析できるようなフレームワークやサービスがすでにあるのか。 ちょっと調べてみました。 調べ始め さくっとググってひっかかったものは Quora How do companies practically A/B Test new versions of native mobile apps that are already in production? Qiita SkyLabを利用したiOSアプリケーションのABテスト 海外の記事 Roundup: A/B Testing Soluti
ズバリ！ 必要なサンプルサイズはいくつ？ A/Bテストのための例数設計入門 - 廿TT
こういう状況を考える 広告 A と広告 B で CVR（コンバージョンレート）に差があるかテストしたい。しかも仮説検定をやりたい。 A/Bテストに長い時間をかけるのは無駄だからやめたい（リスティング広告でやってはいけない8つの施策 | スポンサードサーチ再入門 | Web担当者Forum） 一方で一定のクリック数がなくては判断できない（Sexyなリスティング広告プレイヤーになるために…、スライドを公開します。 | SEM-LABO） では、結局一定のクリック数っていくつあればいいの？ R で計算してみる。 用意するもの： 有意水準（α） 検出力（1-β） 広告 A の経験的 CVR 広告 B の期待される CVR ↑これらについては後で説明する。 CVR は CTR（クリック率）と読み替えてもらってもかまわない。なにかをなにかで割った「割合」なら同じように考えて問題ない。 広告 A という
プロダクトの「負債」を「機能」と呼び直す 〜A/Bテストを用いた"価値"の定量化〜 - スタディサプリ Product Team Blog
Quipper で Web Engineer 兼 Engineering Manager を務める @ohbarye です。スタディサプリの開発、その中でも特に合格特訓コースや決済周りの機能開発・保守が主な業務です。 弊社が開発するプロダクト「スタディサプリ」ではA/Bテストを用いたプロダクトの改善を行っています。Quipper の行動指針の一つに "Fact based" という言葉が含まれており、憶測や独断ではなく計測されたデータや事実に基づいて意思決定することが強く推奨されているためです。 このたびスタディサプリにおいて負債と考えられていた機能を「消してよいかどうか」、A/Bテストを通して判断しました。その際に用いた手法や結果、そこから見えたこと、考えたことをご紹介します。 プロダクトの負債とは プロダクトチームにとって負債と考えられていたのは「キャリア決済」という決済手段でした。そ
A/Bテストに用いられる統計的検定手法（ロジック）のまとめ＆比較 | RCO Ad-Tech Lab Blog
リクルートデータ組織のブログをはじめました。※最新情報はRecruit Data Blogをご覧ください。 Recruit Data Blogはこちら 汎用人型雑用AIの stakaya です。 たまたま数年前に社内のBLOGに書いたABテストのロジックのまとめ＆比較記事を発掘したので、 このまま眠らせているのはもったいないぞと、 圧倒的もったいない精神を発揮し、シェアさせていただきます。 あの頃は私も若かった。 社内では”堅物・真面目・一途”で有名なものでして、下記文章がお硬いのはご勘弁ください。 はじめに 本記事は、施策の評価手法としてしばしば用いられるA/Bテスト（A/B testing)について、できる限り背後にある仮定を明記した上で、まとめたものである。 A/Bテストとは、主にインターネットマーケティングにおける施策の良否を判断するために、2つの施策（通常、A・Bと記載）を比較す
SkyLabを利用したiOSアプリケーションのABテスト - Qiita
なんかABテストとか最近ますます重要じゃないすか。Kaizen Platformとか話題だし、日本以外にもスタートアップたくさんできてるし。 ただKaizen Platformはネイティブアプリにまだ対応してないんですよね。残念。 iOSで簡単にABテストするやり方はいろいろあるかもですが、我らが mattt 先生が素敵なライブラリを作ってくれてるので紹介です。 SkyLabとは すごくシンプルなABテスト向けライブラリです。ABだけでなく複数のパターンにも対応してます。使い方みれば一目瞭然です。 使い方 2パターンの場合 AとBブロックのどちらかが50%の割合で実行されます。 [SkyLab abTestWithName:@"Title" A:^{ self.titleLabel.text = NSLocalizedString(@"Hello, World!", nil); } B:^
“6ピクセルの違い”が広告収入を4億円以上変えた--ビッグデータ解析の可能性
検索窓の位置がたった6ピクセル違っただけで、広告収入が4億8000万円変わる──10月8日、大阪で開催している「B Dash Camp 2013 Fall in Osaka」の最初のセッションで、こんな発言が飛び出した。 「ビッグデータ活用の最新事情」をテーマにした同セッションには、ディー・エヌ・エー（DeNA）ソーシャルプラットフォーム本部アナリティクスアーキテクトの濱田晃一氏、データセクション取締役会長の橋本大也氏、楽天執行役員の北川拓也氏が登壇。Hapyrus 共同創業者の藤川幸一氏がモデレーターを務める中、ビッグデータ解析の可能性が語られた。 左からHapyrus 共同創業者の藤川幸一氏、楽天執行役員の北川拓也氏、データセクション取締役会長の橋本大也氏、ソーシャルプラットフォーム本部アナリティクスアーキテクトの濱田晃一氏 データ解析による“カイゼン”はホームランでなく、たくさんのヒ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
