ダウンサンプリングによる予測確率のバイアス - sola

機械学習（二値分類問題を考えます）において不均衡なデータセット（クラス間でサンプルサイズが大きく異なる）を扱う場合、多数派のクラスのサンプルに対してサンプリング行い均衡なデータセットに変換するダウンサンプリングが良く行われます。 この不均衡データのダウンサンプリングによって、サンプル選択バイアスが生じることが Calibrating Probability with Undersampling for Unbalanced Classification という論文で説明されています。 具体的には、少数派クラスの事前確率が大きくなります。一般的な問題設定では、正例のクラスが少数派クラスであるので、正例と予測される確率（事後確率）が大きくなります。 予測確率が重要な場合 *1 は特に、このバイアスの影響を除去しなければなりません。 実際、FacebookのCTR予測に関する論文でも、このバイア