転職会議が40日で登録数2.23倍を達成する為に行った32回のA/Bテスト【前編:効果的なKPIとテスト設計】 | KAIZEN platform blog
「来月末までに登録数を2倍に！」 一見無理そうなこの目標に挑んだのは株式会社リブセンスの転職会議運営チーム。 “40日間”という限られた期間の中で多額のプロモーション費をかけるわけではなく、A/Bテストを中心としたサイトの改善を徹底的に回し続け、短期間で登録数を向上させることに成功しました。 今回はディレクターとしてこのプロジェクトを牽引されていた黒澤氏に伺った、数多くのA/Bテストを実施し、成果を出すために大切なKPIやテスト設計の考え方を紹介します。 （写真の右から4番目がお話を伺った黒澤氏） ■なお今回の事例記事は全3回にわけて紹介します 【前編】効果的なKPIとテスト設計のコツ（本稿） 【中編】実践A/Bテストケーススタディ（後日公開予定） 【後編】チーム・文化作りのポイント（後日公開予定） 圧倒的なスピードでテストを回すためのKPI・テスト設計 『来月末までに残された日数は4
A/Bテストでいちばん大切なこと - Kentaro Kuribayashi's blog
「A/Bテスト」が、Webサービスの最適化技法として人口に膾炙して久しい昨今ですが、それでもなお、個々の施策実行時にはいろいろと迷うことがあります。たとえば: 有用なテスト結果を得るためにパターンをどのような基準で用意すればよいのか テスト結果の統計的有意性をどのように検定すればよいのか 個々の改善がそれぞれによかったとしても、それらが局所最適に陥らないためにはどうしたらよいのか といったあたりが挙げられます。(2)については純粋に技術的な問題なので、ここでは議論しません。問題にしたいのは(1)および(3)についてです。ひとまず、いまのところ僕が思う一番大切なことをひとつだけ述べておきましょう。それは: 「それに対してなんらかの肯定的/否定的意見のあるパターンをテストする」 ということです。どういうことか。 視野狭窄的なA/Bテスト A/Bテスト、あるいは同様の最適化技法については、かつて
UI変更バトルに勝利するための方法考えた - yashiganiの英傑になるまで死ねない日記
UI変更批判バトルと複数のバージョンのウェブサービスを同時に配信することについて - hitode909の日記 を読んで，同じようなこと前から考えていて昨日ひょんなことからブレイクスルーがあったので共有します． ウェブサービス，UI変えると，改悪とか，元に戻してとか，そういう意見が出る． ウェブサービスだけじゃなくてアプリでも同じような問題抱えていて，アプリの場合はストアの評価システムみたいなのがあって，そこにこういう意見が書かれまくる． アプリの場合はウェブサービスと違って，ユーザの選択でアップデートしないとかもできるので，余計に状況が悪くて「こんなことならアプデしなけりゃよかった」とかも平気で言われる． 実際iOS 7が出たときに担当しているアプリで同じようなこと経験したことがあって，iOS 7のあたらしくなったiPhoneにいつも使っているアプリが完全に対応したら最高のユーザ体験だろ
【LPOはDLPO】「猫」で説明します。ABテスト・多変量テスト - DLPO株式会社
こんにちは! 今日は猫を使って、ABテストと多変量テストの違いをご説明できればと思います。 まずはA/Bテストです。二匹の猫がいて（猫Aと猫B)、どちらの猫が可愛いのか知りたいです。WEBを通じて1万人に一人ずつ一匹だけ猫を見せます。猫のパターンは二匹ですので、猫Aを見ている人は5,000人。猫Bを見ている人も5,000人。 今回の例で猫Aを見た人は66%が可愛いと答えています。猫Bは34%と人気度が少し低めでした。 猫Aの大きな勝利です！ ただし、このA/Bテストには二つの課題があります。 猫は二匹しか存在しないので 1) そもそもこの二匹以外に可愛い猫が存在するのでは?という疑問があります。 2) 上記の猫Aはどういった理由で勝っているか不明です。勝ったのは耳が水色だから？ベロが出ているから？目が黒いから？その猫が勝っている要因は闇の中です。 そこで「多変量テスト」の登場です。方法はほ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
