多重比較補正のはなし - 渋谷駅前で働くデータサイエンティストのブログ

最近になって、データ分析界隈で多重比較補正が話題に上ることが増えていると聞きまして。一方で、僕自身も何を隠そう研究者時代の専門分野が長年多重比較補正の問題に悩まされてきた分野だったこともあって、かなり若い頃から多重比較補正については色々勉強したり実践したり検討したりしてきたものでした。 ちなみに下記のリンクはその分野で広く使われている多重比較補正の方法論に重大な瑕疵があるのではないかと指摘した2年前の論文で、曰く「理論上は偽陽性(false positives)5%で済むはずのものが実際には偽陽性が最大70%に達する可能性がある」とのこと*1。 事によっては15年間に渡る40000件の研究が実は偽陽性まみれだったという可能性もあるという話で、多重比較補正って怖いんだなぁとつくづく思う次第です。 閑話休題。このように多重比較補正というのは「偽陽性」という統計データ分析においては厄介な問題と密

[call_me_nots]

“研究者時代に僕が多用していたのはBonferroni補正とFDR control（つまりBH補正）でした。理由は簡単で、大体どのデータ解析ソフトウェアにもその2つは実装されていたから”