オーバーフィッティングと正則化 - Qiita本記事では、こちらのサイト を参考にオーバーフィッティング（Overfitting）と、それを克服する正則化（Regularization）について解説します。 オーバーフィッティングとは 一般的にトレーニングセットにはノイズが含まれます。学習時にノイズの影響を受けることで、トレーニングセットには適合できるが、未知データには適合できなくなることをオーバーフィッティング・過適合といいます。（トレーニングセットにも適合しないことをアンダーフィッティング・高バイアスと言います。） 対策の例 出力に有効でない変数を減らす。（例えば、他の変数の関数になっているもの） 正則化 正則化とは、コスト関数に罰則を加えた新しいコスト関数を用いることで、モデルの複雑さを緩和しようとするための手法です。決めるべきパラメータが $\theta = \left(\theta_0, \theta_1, \ldots ,
