タグ

テストと分析に関するlibero18のブックマーク (2)

  • A/Bテストの数理 - 第1回:人間の感覚のみでテスト結果を判定する事の難しさについて - - doryokujin's blog

    データ解析の重要性が認識されつつある(?)最近でさえも,A/Bテストを始めとしたテスト( = 統計的仮説検定:以後これをテストと呼ぶ)の重要性が注目される事は少なく,またテストの多くが正しく実施・解釈されていないという現状は今も昔も変わっていないように思われる。そこで,シリーズではテストを正しく理解・実施・解釈してもらう事を目的として,テストのいろはをわかりやすく説明していきたいと思う。 スケジュール スケジュール 第1回 [読み物]:『人間の感覚のみでテスト結果を判定する事の難しさについて』:人間の感覚のみでは正しくテストの判定を行うのは困難である事を説明し,テストになぜ統計的手法が必要かを感じてもらう。 第2回 [読み物]:『「何をテストすべきか」意義のある仮説を立てるためのヒント』:何をテストするか,つまり改善可能性のある効果的な仮説を見いだす事は,テストの実施方法うんぬんより

    A/Bテストの数理 - 第1回:人間の感覚のみでテスト結果を判定する事の難しさについて - - doryokujin's blog
  • A/Bテスト、ユーザビリティエンジニアリング、抜本的革新:どれが最も有益か

    定義: A/Bテスト(比較テスト)とは生のトラフィックを2つ(以上)に分けるものである。ユーザーのほとんどが目にするのは標準デザイン(「A」)だが、少数のユーザーは別案(「B」)を目にすることになる。統計的に有意な数を集めたら、コンバージョンレートや直帰率のようなKPI(key performance indicator;重要業績評価指標)が一番高かったデザインが次の標準になる。 ユーザビリティとはユーザーテストやフィールドスタディ、パラレル&反復デザイン、忠実度の高くないプロトタイプ、競合調査、その他、多くの調査手法といった一連のユーザー中心のデザイン(UCD)活動を判断基準にするものである。 デザインの抜的革新とは、標準的なデザイン変更プロジェクトで採用される山登り法から生まれるのではない、過去のデザインから逸脱したまったく新しいデザインを創造するものである。革新の例には根的なブレ

    A/Bテスト、ユーザビリティエンジニアリング、抜本的革新:どれが最も有益か
  • 1