わしの思うリッジ回帰(L2正則化)と正則化法。 - Pseudo Theory of Everything

1 はじめに 最近、我々+数名でスパースモデリングという分野を勉強しています。詳細はまた別の記事にて紹介するにして、今回はスパースモデリングの前段階に当たる リッジ回帰(ridge regresion) に脚光を当てます1。 読者には釈迦に説法かもしれませんが、リッジ回帰は L2 正則化とも呼ばれ機械学習の中でも非常にスタンダードな概念の一つになっています。しかし専門的に正則化法を扱ってみて、案外知らなかったことを知れたのでまとめました。 まず、リッジ回帰での損失関数は以下のような式で記述されます。 \begin{align} E = (y - X \vec{w})^2 + \alpha \vec{w}^T \vec{w} \end{align} 上記の損失を最小化するように係数の重みベクトル \(\vec{w}\) を推定します。解析的には \(\vec{w}\) について微分をしたもの

[hippy-hikky]

"正則化法は2次の計画行列を正則行列にする操作"

[Nyoho]

正則化で過学習が抑えられる理由の説明