【Deep Learning】過学習とDropoutについて - sonickun.log前回、Deep Learningを用いてCIFAR-10の画像を識別しました。今回は機械学習において重要な問題である過学習と、その対策について取り上げます。 sonickun.hatenablog.com 過学習について 過学習（Overfitting）とは、機械学習において、訓練データに対して学習されているが、未知のデータに対して適合できていない（汎化できていない）状態を指します。たとえ訓練データに対する精度が100%近くに達したとしても、テストデータに対する精度が高くならなければ、それは良い学習とはいえません。特にニューラルネットは複雑なモデルのため過学習に陥りやすいと言われています。 過学習の例 過学習の例として、最小二乗法による多項式近似を用いてサインカーブ（＋標準偏差0.3の乱数）を推測してみます。 参考：最小二乗法のロバスト推定についてまとめた - sonickun.log 下
