統計的仮説検定 - counterfactualの日記

統計的仮説検定は、作物や家畜の品種改良や、医学研究において、非常にマッチした道具である。有意差が見出されなかった場合、消極的に帰無仮説を受容するが、作物や家畜の品種改良では、実績のある在来品種が存在し、医学研究では、実績のある既治療（標準医療）が存在しているから、この消極的な受容は合理的だと思う（プラセボも既存治療に含んで考えている）し、間違うことを承知で判断するのも合理的だと思うからだ。もし、標準医療の存在しない深刻な疾患であれば、仮説検定の枠組みをかなり緩めて対応するだろう。公衆衛生の分野では、効果の無い対策を乱発するのを防ぐ意味で、帰無仮説の消極的受容は合理的だと思う。 この、統計的仮説検定、応用分野、というか、実益を得ようとする分野では強力な武器であるけれど、基礎的というか、知的好奇心を追及するような、より学問の本質的な部分をやる分野では、あまり使ってはいけないと、ずーっと前から思

[nakanushi]

実益を得ようとする場合、有意水準5％の5％は、間違って、新しいほうを選んでしまう確率であると解釈できる。