2. Pythonで綴る多変量解析 6-1. リッジ回帰･ラッソ回帰(scikit-learn)[重回帰vsリッジ回帰] - Qiita

平たく言えば、どちらも重回帰分析の進化形で、ラッソ(Lasso)はL1、リッジ(Ridge)はL2とも呼ばれ、双子のような関係です。 どういう進化かといえば、重回帰分析を過学習が起こりにくいように改良したというものです。 重回帰分析では、損失関数（予測値と目的変数の２乗和誤差）が最小になるように回帰係数を推定しますが、これに加えて、回帰係数そのものが大きくなることを避ける工夫が施されています。 一般的に、回帰係数が大きいモデルは、入力の小さな動きで出力が大きく動きます。そのような過敏なモデルは、訓練データには当てはまっても未知のデータにはうまく当てはまらないリスクが高いといえます。 そこで、損失関数に変数の数や重みが増えるほどペナルティが加算されるようにして、モデル自身にパラメータの大きさを抑制してもらいます。 上の式は、ペナルティを加えた損失関数の定義で、ペナルティのことを正確には**正