caltech15

The Reusable Holdout: Preserving StatisticalValidity in Adaptive Data Analysis Moritz Hardt IBM Research Almaden Joint work with Cynthia Dwork,Vitaly Feldman, Toni Pitassi, Omer Reingold,Aaron Roth False discovery — a growing concern “Trouble at the Lab” – The Economist Most published research findings are probably false. – John Ioannidis P-­‐hacking is trying multiple things until you get the des

[elu_18]

p値などによる統計的な評価は、手法とデータが独立である場合のみ成り立ち、もし手法をデータに適応していった場合、偽の関係を見つけてしまう問題があった。Reusable Holdoutでは、データにノイズを加え何回も使えるよう