統計的仮説検定を味わう: 検定手法の疑問解決からASA声明まで

例えば完全な実験計画のもとで、カップを区別する能力のない婦人が10個のカップに対して8つのカップを正確に言い当てられたとすると[6]、0.0439453125 + 0.009765625 + 0.0009765625 = 0.0546875くらいの確率[7]でしか起きないことだと考えます。他の仮定が全て正しいとすると、婦人に能力がないという仮定とこの低確率な事象は矛盾するので、実験設定と仮定に矛盾があったり、婦人には能力があるのではないか[8]、と考えます。ただし、本当に婦人にはそんな能力がないとしても、0.0546875くらいの確率で8つ以上のカップを出鱈目に言い当てることができてしまいます。そこで、誤った判断をしてしまうリスクを小さくする意義で、この値が0.1や0.05以下じゃないと信頼できないですよね、これくらいのリスクなら許容できますよね、という風に、恣意的に決めた基準（有意水準）