不均衡データを損失関数で攻略してみる - Qiita

はじめに 研究の用途においては、データセットによる精度への影響を避けるため、各クラスのデータ数が同じくらいの均衡なデータセットがよく利用されています。しかし、いざ実サービスで学習用のデータを集めようとしても、全てのクラスで同じ数のデータを集めるのは難しい場合があります。そのような不均衡なデータセットに対して、2019/01/16にarxivで発表があった Class-Balanced Loss や Focal Lossなど、損失関数の工夫だけでどこまで精度を上げられるのか検証してみました。 データ不均衡による精度の劣化 CIFAR-10データセットを使って学習および検証を行いました。学習データはCIFAR-10の訓練用画像 50,000枚（各class 5,000枚）からautomobileとdeerとfrogのデータを250枚に減らして、意図的に不均衡にしたものを使用しています。検証には

[sh19910711]

"いざ実サービスで学習用のデータを集めようとしても、全てのクラスで同じ数のデータを集めるのは難しい / 本質的なデータ数に配慮した値を用いてデータバランシングを行うべき" 2019

[yu4u]

“本質的なデータ数” は非常に興味のある考え方だけど、実際に利用するタイミングでごっそり近似されまくっててちょっと残念