SIGIR'20 Keynote speakerから見るInformation Retrievalの分析に関する誤り｜gota_morishitaSIGIR'20のkeynoteで，Norbert Fuhr氏がProof by Experimentation? Towards Better IR Researchというタイトルでプレゼンを行いました．訂正もなく多重検定を行っている論文は即座にリジェクトされるべきだと言ったメッセージもあり，その内容はかなりエッジが効いていました．それを簡潔にまとめると， 情報検索の分野では，実践的な有効性を確認するために，実験は重要な役割を果たしている．それにも関わらず，しばしば適用される評価手法は他分野の科学的水準に達していない． Norbert氏によると，いくつかの原因が考えられると言っていました．Nobert氏の論文[1]をもとになぜIRの実験手法が良くないのか，そして，その対策についてより詳しい話を書いていこうと思います． 実験に関する問題点Norbert氏が指摘した問題点はざっと上げると以下
