はてなブックマーク

はじめに 正規化と正則化は，機械学習の中で戸惑いそうなキーワードの一つではないでしょうか？ 私自身，軽く「似たようなものでしょ？」って思ってた時に調べて「違うじゃん！」ってなった要素を備忘も兼ねてメモしておこうと思います． 正規化 英語ではNormalizationになる．似た言葉はScalingがある．通常，機械学習で使用する仮説関数$h_\Theta(x)$のパラメータ$\Theta$は複数ある．そして，学習データの情報もたくさんある．その中でも，スケールが異なるものがものが少なくない． たとえば，機械学習で物件の価格を予測しようとしたら，土地の面積や部屋数，階数，駅からの距離などが特徴量(Feature)となるだろう．これらはすべて単位が異なり，取りうる値も異なる． 集めてきたデータをそのまま学習させようとすると，収束速度が遅く，なかなか最小値に近づいてくれない．これは，土地の面積が