タグ

ABテストに関するpivo17のブックマーク (2)

  • 直帰率が0.5%改善したよ!→誤差では?→検定しましょう

    使い方 AとBのサンプル数と比率に値を入力して計算ボタンを押すと、検定統計量を計算して検定を行い、比率Aと比率Bに差があると言えるかかどうかを結果に表示します。 例えば施策前後の直帰率の比較を検定する場合は、施策前をA、施策後をBとして、サンプル数に訪問者数、比率に直帰率を入力します。コンバージョンのA/Bテストを検定する場合は、パターンAをA、パターンBをBとして、サンプル数に訪問者数、比率にコンバージョン率を入力します。 有意水準とは、検定に使う確率のパラメータで、この確率が小さいほど差があるかどうかの判定が厳しくなります。通常は5%でいいでしょう。検定統計量とは、入力値からある公式によって計算される値で、この値が棄却域内に入る確率と有意水準を比べて有意差検定します。検定方法は、二群の比率の差の検定で、z分布を使った両側検定をしています。検定方法の統計的な説明については下の囲みを参照し

    直帰率が0.5%改善したよ!→誤差では?→検定しましょう
  • そのABテストの判断は本当に正しいのか?|アナグラム株式会社

    リスティング広告運用者とユーザーとの接点は、PC・タブレット・スマートフォンの画面に表示されるテキストの広告文やバナーだけです。管理画面上の入札単価をいくら執念深く細かく調整しようとも、ユーザーとの唯一の接点であるものが適切でなければ、ユーザーの心を揺さぶるのは難しいでしょう。 この大事な大事な広告文やバナーを改善していく方法が、皆様もご存じABテストです。ABテストというと「悪い方を止めればいいんでしょ!かんたんかんたん!」と思ってしまいます。しかし、自分の勘だけで判断を下すのは危険です。 ABテストは統計学でいう「標調査」と同じなので、さわりだけでも統計の知識を付けたうえで判断を下すのが賢明であると言えます。「標調査」とは、調べたい母集団の全体を逐一調べてまわるのではなく、全体から抽出した一部分である標を調査し、そこから母集団全体の性質を推定することです。 ただし、リスティング広

    そのABテストの判断は本当に正しいのか?|アナグラム株式会社
  • 1