RでL1 / L2正則化を実践する - 渋谷駅前で働くデータサイエンティストのブログ
L1 / L2正則化と言えば機械学習まわりでは常識で、どんな本を見てもその数式による表現ぐらいは必ず載ってる*1わけですが、そう言えばあまり実務では真面目にL1 / L2正則化入れてないなと思ったのと、Rでやるなら普通どうするんだろう？と思ったので*2、もはや周回遅れみたいな感じではありますが備忘録的に実践してみようかと思います。 L1 / L2正則化って何だっけ ということで復習（自分の記憶が合っているかどうかの確認）。。。PRMLにも載ってる有名な図がありますが、あれの説明が直感的には最も分かりやすいかと思います。これは重み付けベクトルが2次元の場合、つまりとを求めるという問題を想定した図です。もうちょっと言えば2次元データに対する分類or回帰問題ということで。 基本的には分類器にせよ回帰モデルにせよ、学習データに対する誤差*3を定式化して、これを最小化するように（このケースでは2つの
過学習を防ぐ正則化
機械学習では、過学習を防ぐ手段として正則化が行われることが多い 機械学習でよく用いられる正則化には、L1正則化とL2正則化がある 過学習は未知のデータに対応できない原因をつくる 機械学習では大量のデータを扱いますが、偏り過ぎたデータにまで必要以上に対応してしまうという「過学習」の状態に陥る事があります。過学習の状態は、与えた学習データに対しては小さな誤差となるモデルが構築できています。ただし、ごく一部の例外的な学習データに過度に対応したモデルとなっているために、構築した学習モデルを未知データに適用すると必ずしも適切な予測値を返さない状態となります。学習データの中のごく一部の例外的なデータに過度に適用したモデルが構築されている状態ということで「過学習」といいます。 そのため、機械学習では過学習になるのを防ぐために、極端な重みのデータに対してペナルティを与える正則化が用いられます。 過学習を防
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
