A/Bテストのベストプラクティスと落とし穴 ~KDD2019 レポート~ - Gunosyデータ分析ブログ
はじめに 研究開発チームの関です。古川未鈴さんの結婚、ニジマス大門果琳さんの卒業、uijinの解散とアイドル業界も激動の秋を迎えていますね。 2019年8月4日から5日間、アメリカはアラスカ州アンカレッジで開催されたデータマイニング領域のトップカンファレンスであるKDD2019にGunosyから北田と関が参加・発表してきました。 これまでに2つのレポートを公開しています。 data.gunosy.io data.gunosy.io 本レポートではTutorialとして開催された「Challenges, Best Practices and Pitfalls in Evaluating Results of Online Controlled Experiments」の内容をレポートします。 内容は現在のA/Bテストのガイドラインと言ってもいい内容で、非常に参考になるポイントが多かったです。
【実例あり】ABテストとは？最適なUIを分析して導き出してみよう - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 日々改修しているサイトや個人サービスなどで、ここをこう変更すればユーザーがもっと使いやすくなるのでは？と考えたことはないでしょうか。 しかし大きなサイトであるほど簡単には変えられず悩む事になります。変えたとしてもそれで良くなるとは限りません。 今回はそういった案が毎日上がる弊社、ユーザー数620万人以上のサービス『DLsite』にて実際に実施されている 『ABテスト』 について、どういったものなのかを雰囲気だけでも知っていただけるよう解説していきます。 📗 ABテストとは ウェブサイトにおけるABテストとは、サイト内の一部分を比較した
FastlyとTypeScriptで実現するカナリアリリース / yamagoya2020
#yamagoya2020 で 2020/11/25 に登壇させていただいたセッションの資料です。
グロースとは学びを得ること - 後編｜Go Ando / PREDUCTS / THE GUILD
こんにちは、THE GUILDの@goandoです。 「グロースとは学びを得ること - 前編」の続きです。 後編ではグロースにおけるABテストの価値について、グロースに取り組む中で得た気付きと世界の動向をご紹介します。 正しいABテスト多くの方がご存知のABテストですが、時折見かけるのが「改善案Aと改善案Bの方法のどちらがより良い結果に繋がるかを検証」するための方法として利用し、更には全てのユーザーをランダムに50% vs 50%にスプリットして行っているケースです。 これは正しいABテストの利用方法ではなく、本来は「現在の仕様A(対照群)に対し別の仕様B(介入群)の結果を比較」する実験方法で、仕様Bのみを特定の条件でランダムに抽出した一部の対象に対してのみ行い、元の状態との比較を行うのが本来の活用方法です。 ABテストは統計学や疫学の歴史の中で成り立ったランダム化比較試験の方法に基いてお
シリコンバレーのIT企業が利用しているA/Bテスト手法まとめ - ij_spitz's Blog
いま注目すべきシリコンバレーの有名なIT企業は新規のデザインや機能が有効かどうかを検証するためにA/Bテストを行っています。 その一方で、日本の企業も含め、A/Bテストを本番環境で導入している企業は非常に少ないです。 加えて、日本で言われているA/Bテストと海外で言われているA/Bテストは少々異なるものだと感じています。 日本のA/Bテストはフォームの最適化やデザインの修正にとどまっている一方で、海外のA/Bテストはプロダクト開発のサイクルの一部分となっています。 プロダクト開発のサイクルの一部としてA/Bテストを取り入れるためには、大量のテストを定常的に回していく仕組みが必要となってきます。 そこでデータドリブンであると言われているようなシリコンバレーのIT企業は自社でA/Bテストの基盤を作成しています。 今回は社内A/Bテスト勉強会で発表するために、シリコンバレーの有名IT企業がどのよ
nekokak's blog — 駄文：ABテストがモノづくりを破壊する
Archive 駄文：ABテストがモノづくりを破壊する あーなんか書こうかなーと思っても時間もなくて、ぶっちゃけあんまりモチベーションわかなくて、ずっと書いていなかったんだけど何となく思うことをつらつら書き溜めていこうかなと思う。年末だし。 なんとなしに頭にあるのを吐き出すテイなのであんまり読みやすさとか考えない。あと極論書いてる。（という予防線を貼るあたり若干ひよってる） 今回はABテストについて思うことを書いてみるかなと。 ABテストって簡単に言うと２つ以上ある選択肢のうち一番良い結果を出すことのできるものを見つける事ですね。 言葉だけ見るとなんかよさ気にみえてしまうけどモノづくりする上での弊害がかなり大きいと考えています。 一つ目 ABテストやっちゃうと正直工数が余計にかかる。結構掛かる。最近だと低コストでABテストを実現するためのツールとかもあるんだけど適用したいケースによっては設
Tokyo Otaku Modeのグロースハック術を公開 - A/Bテストの実例 - | Tokyo Otaku Mode Blog
こんにちは、Tokyo Otaku Mode COOの安宅です。 本日からオフィシャルブログを開始します。社内メンバーの持ち回りでブログを書いていきますので、どうぞよろしくお願いします！ Tokyo Otaku Mode（以下、TOM） のイメージを日本国内の人に聞くと、「謎の会社」と言われることがよくあります。僕らは全世界で1,500万人のファンを抱えているものの、そのうち国内のファンは1%以下。いまいち何をしている会社というのが分かりづらいようです。僕らの情報発信も足りていなかったのもあると思うので、これから社内で使っている技術や運営方法について、このブログでたくさん公開していこうと思います。 第1回目の内容は、TOMで行っているグロースハックについて。 TOMは3年前の2011年3月24日にFacebookページをスタートしました。内容は日本のアニメやマンガ、コスプレなどの情報を伝え
米国市場の高校サイトでは、今、何が起きているのか？
ブログサービス「マーケター通信」をご利用の皆さまへ 平素はITmedia マーケティングをご愛読いただき、誠にありがとうございます。 当サイトではこれまで、関連ブログサービスとして「マーケター通信」を長年にわたり運営してまいりましたが、全体的な利用の減少を鑑み、2020年9月30日にサービスを終了させることになりました。 このような結果になり残念ですが、何卒ご理解いただけますと幸いです。これまでご利用いただきましたことに対し、あらためてお礼申し上げます。 尚、ITmedia マーケティングは従来通り更新を続けますので、引き続きよろしくお願いいたします。 サービス終了までのスケジュール、および、これまで登録していただいたブログ記事の取り扱いにつきましては、以下の記載をご確認ください。 スケジュール 2020年9月25日（金）
ABテストでCVR改善に成功した海外事例まとめ15選！ | LISKUL
「海外ではABテストが盛ん」という言葉を耳にし、その内容が気にはなるものの、実際にそのノウハウや事例を外国語で仕入れるのは一手間だと、先送りにしてしまう人も多いのではないでしょうか。（かくいう私も「先送り」の日本代表です。） そんな皆様の一手間を解消すべく、海外のABテストの事例とその要点を日本語でまとめてみました。 普段から気になっている海外の事例を、どうぞサクッと日本語で仕入れちゃってください。 ※本記事は2014年5月19日に公開された記事をLISKUL編集部にて再編集したものです。 グローバルナビゲーションの削除とフォームの変形でCVR336％http://unbounce.com/a-b-testing/how-a-single-a-b-test-increased-conversions/ ・オリジナルページの特徴は、上部に分厚いグローバルナビが配置されていることと、右カラムに
A/Bテストでいちばん大切なこと - Kentaro Kuribayashi's blog
「A/Bテスト」が、Webサービスの最適化技法として人口に膾炙して久しい昨今ですが、それでもなお、個々の施策実行時にはいろいろと迷うことがあります。たとえば: 有用なテスト結果を得るためにパターンをどのような基準で用意すればよいのか テスト結果の統計的有意性をどのように検定すればよいのか 個々の改善がそれぞれによかったとしても、それらが局所最適に陥らないためにはどうしたらよいのか といったあたりが挙げられます。(2)については純粋に技術的な問題なので、ここでは議論しません。問題にしたいのは(1)および(3)についてです。ひとまず、いまのところ僕が思う一番大切なことをひとつだけ述べておきましょう。それは: 「それに対してなんらかの肯定的/否定的意見のあるパターンをテストする」 ということです。どういうことか。 視野狭窄的なA/Bテスト A/Bテスト、あるいは同様の最適化技法については、かつて
Google AnalyticsでABテストをやってみる ｜ Tips Note by TAM
GoogleAnalyticsでは、ページを最適化するためのABテストの機能が備わっています。 ※GoogleAnalyticsでは「ウェブテスト」と呼びます。 ウェブテストでは、複数の異なるパターンを検証する事によって ユーザーに、より効果的なキャッチコピーやボタン、サイト内の導線を検証する事ができます。 今回はその「ウェブテスト」をご紹介していきたいと思います。 1.検証用のページを作成する オリジナルページから検証したい場所を1箇所変更したテストページを作成します。 ※テストする際は、複数箇所を変更してしまうと効果が見えにくくなってしまう為、 変更箇所は1箇所にする事をおすすめします。 （ウェブテストでのパターンは9つまで設定できます。） 今回は、下記のようにボタンの色を変えたものを作成しました。 2.検証用のページを正規化する テストページがクローラーにインデックスされないように、
RailsにA/BテストツールのSplitを導入する - Qiita
以前 「【Railsで】Vanityのセットアップ【A/Bテスト】 」なんていうエントリを投稿しましたが、Vanityあまりメンテされてないし、Rails3対応が大変だし、なんか良くわかんなしということでやめてました。 そこでSplitの登場です。 現在進行形でメンテされていて、当然Rails3にも対応、何よりもRailsだけでなくて、Sinatraとかにも対応しているので、今後はこっちが主流になるでしょう。 ではさっそく。 Splitとは？ これだ。 https://github.com/andrew/split redisが必要 READMEを読むと「ExtensionsにMongoid対応ありまっせ＼(^o^)／」ってノリでリンクが貼られているが、正直おすすめしない。 このツールをフル活用したいのなら、素直にredisを利用することを推奨する。 インストールとセットアップ Rails
Google Analyticsを使ってABテストを実施する : hackmylife
サイトを改善する上で重要になるものにABテストがあります。 これは違うデザインのサイトパターンAとB（2つ以上でも言い）を実際にユーザーに使って貰って、より効果の高い方を採用するというテストですが、ABテストを実施する上で考えないといけない厄介な事が幾つかあります。 ユーザーを振り分けて違うデザインを見せる必要がある 効果測定を行うための仕組みが必要になる 各パターンのview数にばらつきがでるので補正する必要がある 特に１が厄介で、単にランダムで見せれば良いわけではなくて、一度テストパターンを見せたユーザーにはテスト期間中ずっと同じページを見せる必要があります。 細かく言っていくとキリがないのですが、この辺りの悩ましさはGoogle Analyticsでまとめて解決してくれます。 AnalyticsによるABテストのメリット 凄く簡単に言うと楽だって事ですが、ちゃんと書くと以下のメリット
ABテストのための有意性検定 - Qiita
こんにちは、awakiaです。今回のアドベントカレンダー、結構、機械学習ガチなメンツが揃ったみたいなので、俺も対抗してやる！！とも思ったのですが、研究を離れて2年が経とうとしているので、真っ向勝負とか今更無理なことに気づきました...ｗ なので、開発者の皆も知っておくと便利なデータサイエンスの話をすることにします。 ABテストと検定の必要性 Webサービスを運営していると、見た目の問題だけでも結構悩みます。ボタンの色や文言などの小さなところから、トップページに盛り込む内容をどうするかまで、いろいろです。 今回、「ABテスト」と呼ぶものは、画面に占める大きさ等にかかわらず、パターンAとパターンBを作って、そのどちらがいいかを判断するための実験と定義することにします。 なお、ABテストの呼び名には結構流派があるので別の名前で聞いたことがあるかもしれません。例えば、Googleのマット・カッツ先
A/Bテストの根拠ごとの成功率比較 : まりっぺぶろぐ
前職でA/Bテストやってた時のことを思い出すなど。「A/Bテストってなんぞや」とか、ツールや実施方法については過去の記事を見るかググっていただきたい。 いきさつとか プロジェクト内で行った50個くらいのA/Bテストを全てデータベース化して、成功率を比較したことがありました。 いきなり余談ですが、データベース化するのにもちょっとしたエピソード（？）があったりなかったりします。データベース化して後から情報を利用しやすくしたいと提案したら、最初は「え、それいる？使わなくない？」とまさかの難色を示されました。「使わないとかないからｗｗｗやらないとかありえないからｗｗｗｗｗｗ」と思った私は、社内のいろんな人（A/Bテスト関係者中心）に「こういうことやろうと思ってるんだけどどう思う？」と質問を飛ばしまくって、『絶対やった方がいいと思う！』みたいな回答を集めました。そして「A/Bテスト実施（候補）者に支
A/Bテストよりすごい？バンディットアルゴリズムとは一体何者か - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? オバマ大統領の再選に大きく寄与したことで大きな注目を集めているA/Bテスト。A/Bテストを導入した、することを検討している、という開発現場も多いのではないだろうか。 そんな中、Web上で次のような議論を見つけた。 20 lines of code that will beat A/B testing every time Why multi-armed bandit algorithm is not “better” than A/B testing 一言でまとめると「A/Bテストよりバンディットアルゴリズムの方がすごいよ」「いやいやA
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
l-orem.com
ABテスト・LPOのための統計学【社内向けサディスティックエディション】データアーティスト株式会社
A/Bテストの生事例 蔵出し14パターン一気紹介 （ポイント解説付き） | U会話入門