$d=2$ の場合、$a_1+a_2\le r$なので、$a_1,a_2$の取り得る値は四角の範囲内に制限される。 最小二乗解が赤線で求められる場合、$a_2=0$となり、次元が一つ減ることになる。 *$L_2$正則化の場合、制約条件は $||a||^2\le r $ なので、取り得る値は円形の範囲に制限される。 *L2正則化とは違い、L1正則化では|w|がw=0で微分できない。 L2正則化のように簡単に計算できず、数値的に求める必要がある。 1.求めてみる ここでは、数学的な証明は割愛し、L1正則化の効果の確認に焦点を当てる。 なんで、可能な限りscikit-learnのライブラリを使用した。 データセットは、diabetes(糖尿病患者の検査数値と 1 年後の疾患進行状況)を使用。 from sklearn.datasets import load_diabetes from skle
![正則化項(LASSO)を理解する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/875b0ab85cb0319d2b7bdf68d5cbe0cd7dde029f/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JUU2JUFEJUEzJUU1JTg5JTg3JUU1JThDJTk2JUU5JUEwJTg1JUVGJUJDJTg4TEFTU08lRUYlQkMlODklRTMlODIlOTIlRTclOTAlODYlRTglQTclQTMlRTMlODElOTklRTMlODIlOEImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWYzMzc4ZTE1Nzk3MzE4MDU2NDI0OTNlNjFkODJjMWNi%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwa2VudG8xMTA5JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1lNmU0NWYwZjZlYzdkNzE3NGQwNjY0NjY4Yjg5ZDg0Yw%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D8a192209b8e0d6c53c3e8b2df8a28e50)