L1／L2正則化に関して調べたメモ - kimiakimのブログ機械学習を勉強しているとよく目にするL1／L2について、いろいろ調べたものをメモ程度に。 分類や回帰分析では、学習データとモデル値の誤差を最小化することでモデル化を行うが、過学習を避けるためにペナルティ項を加える。 そのペナルティを加えることで、重み付けベクトル（e.g. 2次元：w1, w2）の値が取れる範囲に条件をつけられ、過学習を防ぐ。 わかりやすい絵は「パターン認識と機械学習（出版：シュプリンガー・ジャパン株式会社）」に載っているのでご参考まで。 d.hatena.ne.jp L1ノルム正則化項 のように定義され、w1, w2は原点を中心とした四角の領域を取る。 このとき、四角の領域に接するようにしないといけなく、自ずとw1=0となる。 Lasso回帰とも呼ばれる。 < 特徴 > L1正則化は重み付け要素w1=0となるため、「不要なパラメータを削りたい」という時によく使われる。（次
