正則化 (regularization)† データ \(D\) が与えられたときの経験損失 \(L_{\mathrm{emp}}(f,D)\) だけを最適化する関数 \(f\) を求めても,過適合などのため汎化誤差は最小にならない.よってこの最適化では,本来の目的は達成できない.こうした状況を不良設定 (ill-posed)であるという. こうした場合には,平滑化などを行う罰則項 (penalty term) \(P(f)\) を用いて次のような問題にする: \[\min_f L_{\mathrm{emp}}(f,D)+\lambda P(f)\] こうした問題の書き換えを正則化 (regularization)という. \(f\) のパラメータを \(\mathbf{\theta}\) とするとき,\(P(f)\) としては次のようなものが代表的 L2ノルムの2乗(=2乗和)\({||\