多重比較

多重比較とは 例えば血液型と性格に関係があるか調べたいとします。20項目の性格検査を行って、それぞれについて統計的検定をします。すると、血液型と性格にまったく関係がなくても、それぞれの項目が偶然に $p \leq 0.05$ になる確率は 1/20 ですから、20項目も調べれば、偶然に $p \leq 0.05$ になる項目が一つくらいあって当然です。こういう多変量の実験をして安易に「血液型と性格に有意な関係が見つかった」と結論づけられないように、検定を何度もした場合は $p \leq 0.05$ に何らかの補正が必要だとされるようになりました。この問題を、多重比較（multiple comparisons）の問題といいます。 この問題の最も簡単な解は、$n$ 回検定したのなら、統計的に有意かどうかの基準を $p \leq 0.05$ でなく $p \leq 0.05 / n$ にすること