A/Bテストのガイドライン：仮説検定はいらない（Request for Comments｜ご意見求む） - 廿TT

本記事の編集方針 ※この記事に興味をもたれた方は、 A/Bテスト カテゴリーの記事一覧 - 廿TT も、必要に応じてご覧いただければと思います。 本記事はもともとは、「A/Bテストの数理」への批判：「有意」とはなにか の続き的なエントリでした。 しかし、予想外に反響があったため Request for Comments（ご意見求む）の精神で、随時更新している部分もあります。 ただし、ベースとなる主張、Web系施策のA/Bテストに、仮説検定は向かないという部分は変化していません。 もしぼくの考えが変わり、「やっぱ仮説検定、いいかも」となった場合、本記事の存在価値はほぼ消滅します。 そのようなことがあれば、ページ最上部に「考えが変わりました」と明記します。 また、他の修正箇所も区別して明記し、差分がわかるようにします。 ただし細かい言い回しや、誤字脱字等はだまって修正します。 目次： そもそも

[nekoluna]

ごもっとも。少ない試行回数で最適化するときは有意差より効果の大きさのほうが気になるよね。有意差のコストベネフィットというより試行回数（あるいはサンプルサイズ）というコストに対するベネフィットだと思う

[call_me_nots]

エントリとしてはこっちが良かった

[frogtrip]

この記事読んでお遊びでABテスト施策の現在の施策の仮説検定(有意水準 5％)やってみた。有意差はでなかったけど、信頼区間グラフのエラーバーが重ならず抜けた部分も相応にあった＝ベター、と判断していいきがしてきた

[REV]

大して差がないものから無理やり有意差を引っ張りだす過誤と、ノイズに埋もれた差を検出し損なう過誤がある予感

[uunfo]

「有意にならなかったら有意になるまで待つ」は間違っていない。何でも有意になっても問題はない。有意とはそれが偶然の値でないことを言うにすぎない。実際上意味があるかどうかと統計学での有意を混同していないか

[hom13]

A/Bテストのガイドライン：仮説検定はいらない（Request for Comments｜ご意見求む） - 廿TT

[baca-aho-doji]

うーん。着いていけない部分があるけど、この議論に関われるくらい勉強して行きたい。今始めた仕事にも関わるし。

[Nyoho]

ほうほう。こういう議論がなされているのか。大事なことだ。

[kazuhooku]

「推奨したいのは、CVR（Conversion Rate）の折れ線グラフ＋信頼区間のエラーバー」

[ryozo18]

「実験計画法」の本とか読まないものなの？

[sucrose]

検定には注意した方がいいって記事をたまに見かけるけど、統計に詳しくないのでどうすればいいのかよくわからない 他の記事＞「統計学的な有意性検定の意味のなさ」 http://takenaka-akio.org/etc/stat_test/index.html

[NOV1975]

仮説検定とか言っているのにp値も示さないのがそれほどまで多いとは…／ほんと大学で実験系の心理学やっていたのが今になってありがたいわ。

[harukasan]

エラーバーよいなー

[Sips]

後で

[midnightseminar]

基本は大事だなと。