タグ

qiitaとlassoに関するnabinnoのブックマーク (1)

  • 正則化項(LASSO)を理解する - Qiita

    $d=2$ の場合、$a_1+a_2\le r$なので、$a_1,a_2$の取り得る値は四角の範囲内に制限される。 最小二乗解が赤線で求められる場合、$a_2=0$となり、次元が一つ減ることになる。 *$L_2$正則化の場合、制約条件は $||a||^2\le r $ なので、取り得る値は円形の範囲に制限される。 *L2正則化とは違い、L1正則化では|w|がw=0で微分できない。 L2正則化のように簡単に計算できず、数値的に求める必要がある。 1.求めてみる ここでは、数学的な証明は割愛し、L1正則化の効果の確認に焦点を当てる。 なんで、可能な限りscikit-learnのライブラリを使用した。 データセットは、diabetes(糖尿病患者の検査数値と 1 年後の疾患進行状況)を使用。 from sklearn.datasets import load_diabetes from skle

    正則化項(LASSO)を理解する - Qiita
  • 1