不均衡データへの対応方法について - Qiita

製造業出身のデータサイエンティストがお送りする記事 今回は不均衡データへの対応方法について整理します。 はじめに 業務で分類問題を実施しなければいけない時に、不均衡データを扱う時がありましたので、対応方法を調査していたら「under sampling」と「over sampling」という方法を見つけましたので、整理します。 不均衡データとは 不均衡データとは、目的変数の分布に大きな偏りがあるデータのことを指します。簡単に言うと、ラベル0が99％、ラベル1が1％といったデータが存在するとき、特段の工夫をせずに分類モデルを生成すると少数派の分類精度の低いモデルになることが知られています（全てラベル0と言っても99%は当たるので当たり前ですが）。 不均衡データを取り扱う場合は、少数派データの識別が目的のケースが多いので、工夫する必要があるという事です。 under samplingとは 少数派