P値が有意になるように頑張りすぎちゃっていませんか？

Natureに統計学的検定の問題についてのエッセイが出ていた。フィッシャー、ネイマン、ピアソンの言い争いの紹介も含めて、P値にまつわる議論を短くまとめている。何でも、この世には統計学的に有意であるのに再現性の無い調査や研究は多々あるのだが、統計学的な検定を盲信してしまい考察が疎かになっているせいだそうだ。 P値を扱うときの問題が三つ上げられている。一つは、偽陽性の可能性がP値から連想する以上に高いことだそうだ。統計学的な厳密な議論は説明されていなかったが、例えば帰無仮説が0.5のときに、P値が0.01で有意になったとしても、再現実験では11%以上の確率で再現が得られないそうだ。一つは統計的有意であることに満足して、その効果の大きさを考察しないことがあるそうだ。一つは、P値が有意になるように分析方法を工夫しすぎてしまうケース（P-hacking）があるそうだ。 エッセイでは探索的研究と検証的

[houyhnhm]

そもそも、探索的手法と検証的手法は手法のセットとしても別物だったりはする。

[counterfactual]

桃（ピーチ）をハックして、甘い汁を吸う。

[Rlee1984]

“（P-hacking）があるそうだ。 探索的研究と検証的研究を分けるべき”

[yasudayasu]

個別の研究では理論的な説明が上手くできるかを見るぐらいしか対応策はないが、これを徹底しすぎると理論を越えた新発見を排除してしまうので、やはり科学として問題がある。

[turuhashi]

北大久保先生が発見した”ゆーい差決戦主義”問題は根深い

[quassia88]

Natureに統計学的検定の問題についてのエッセイが出ていた。フィッシャー、ネイマン、ピアソンの言い争いの紹介も含めて、P値にまつわる議論を短くまとめている。何でも、この世には統計学的に有意であるのに再現性の

[daybeforeyesterday]

うーむ

[shiwan]

良記事。特に最後のコメントは秀逸やった。

[bluesky0804]

偽陽性は覚悟の上、というのは違う。偽陽性のレベルは研究の目的に合わせて自分で設定するもの。けど既存理論に当てはめようとして新発見が無くなるという視点ははっとさせられた。最後のコメントもいいコメントｗ