L1正則化で重みが0につぶれる理由
L1正則化、つまり正則化項としてL1-normを使うとパラメタの大部分が0につぶれてモデルがコンパクトになるよという話をよく聞くと思います。初めて聞くと、何で？と思われるかと思います。先日の岡野原握手会でもこの話題がさらっとでて、@hillbigさんはよく微分した形でこれを説明しています（「押すなよ押すなよー」）。私は目的関数の形で理解した方がわかりやすいと思っているので、それを紹介。 まず、正則化項の入っていない凸な目的関数を考えます。 普通パラメタベクトルは多次元なので、多次元の山みたいな形になりますが、ここでは1次元だと思いましょう。この時点で最適値は（頂点の位置）は3です。これに正則化項を足します。L2だとこんな形をしています、というか0を中心とする放物線です。 足しましょう。 足すと0に向かってシフトすることがわかるでしょう。L2正則化の式は原点中心の山なので、元の山（頂点がどこ
正則化って何ぞや？ - データサイエンス，と俺
今日から２日間くらいで，「正則化」について勉強したまとめを載せようと思います．方針としては，まず簡単に正則化について説明し，その後，正則化回帰分析について簡単な説明と検証を行う形でいこうと思います． ＊注＊ 今回の記事の中には間違った記述が含まれている可能性があります．気づいた時点で訂正しますが，正しく理解したい方は最下部にある参考資料などをお読みください． 正則化とは 英語ではRegularizationといいます．正則化について非常にざっくり説明すると，「モデルの過適合を防ぐ」ために必要なものです．「過適合って何？」という人はwikiで「過剰適合」と検索しよう！ 過適合の問題は，予測・分類系の手法を用いる際には常に付き纏う問題で，分析においては必ず考慮しなくてはならない問題なのです． 前述したように正則化は「過適合」を防ぐためのものですが，最近はそれだけでなく変数選択（モデル選択）を同
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
