統計的仮説検定がよくわからない - 唯物是真 @Scaled_Wurm

下の記事が話題になっていたので読んで、「そういえば自分は統計的仮説検定がよくわかってないなぁ」と思ったのでなんとなく書いた A/Bテストのガイドライン：仮説検定はいらない（Request for Comments｜ご意見求む） - 廿TT 自分の理解 とりあえず自分の曖昧な理解をつらつらと書いておく 間違ってたら指摘いただけると嬉しい 統計的仮説検定は(帰無)仮説がある有意水準のもとで間違っている(棄却できる、p値が有意水準以下になる)かどうかを統計的に判定する手法 正確には求めたい(対立)仮説の反対を帰無仮説とする まず有意水準とかp値の意味が難しい 有意水準は真である帰無仮説を誤って棄却する確率で、p値は得られたデータ以上に極端なデータが帰無仮説において得られる確率らしい 有意水準が表しているのが検定が間違える確率じゃないっぽいのもわかりづらい いわゆる特異度を1から引いた的なものって