2023年12月22日 線型回帰モデルに対する正則化は、あえて回帰係数にバイアスを持たせることで汎化性能を高めたり、多重共線性の問題を回避したりすることができる技術です。正則化を用いる場合、最小化する損失関数は以下の形になります。 $$\frac{1}{n}\|\boldsymbol{y} – \boldsymbol{X}\boldsymbol{\beta}\|_2^2 + p_{\lambda}(\boldsymbol{\beta})$$ \(\boldsymbol{y}\)は\(n\)個の要素を持つ目的変数値のベクトル、\(\boldsymbol{X}\)は\(n \times p\)の計画行列(特徴量の行列)、\(\boldsymbol{\beta}\)は\(p + 1\)個の要素を持つ偏回帰係数ベクトルです。 \(p_{\lambda}(\boldsymbol{\beta})\)