この章では、何度も比較を行うことの問題点について扱っている。何度も比較を行えば、本当は存在しない現象が存在するかのように判断されてしまう可能性がある。 $p$値が解釈しにくいことについてはすでに見てきた。統計的に有意でない結果が得られたからといって、違いがないことを意味するわけではない。では、有意な結果が得られた場合はどうだろうか。 例を1つ見てみよう。ガンを治す見込みがある薬を100種類試験しているとする。これらの薬のうち、実際には10種類しか効かないのだが、どれが効くのかは分からない。よって、効く薬を見つけるために実験をしなくてはならない。実験においては、薬に有意な利点があることを示すために、偽薬に対して$p < 0.05$となる薬を探すことになる。 これを図示してみよう。図の1マスが1種類の薬を表している。青いマスは、効く薬を示す。 100種類の薬のうち、真に有効なのは青で示された1