正則化をなるべく丁寧に理解する - 理屈編 - - 雑記 in hibernation
機械学習における正則化の原理と挙動を理解するため、手法の概要をまとめると共に、実際に正則化を用いた最適化をシミュレートして挙動を確認します。 今回の記事では -理屈編- と題して、正則化の着想から具体的な手法(L1,L2正規化)の解説までをまとめます。最適化のシミュレートは -実践編- と称した次回の記事で行います。 なお、この記事は個人的な備忘録として作成しています。 1. はじめに 1.1. 過学習と正則化 機械学習や統計学においてサンプルデータからモデルの学習を行う際、過学習（モデルの形状がサンプルデータへの適合に特化しすぎてしまい、真に推定したい分布からかけ離れてしまう現象）がしばしば問題になります。正則化は過学習を抑えるメジャーな手法の一つです。正則化の考え方はシンプルです。学習時に損失関数に正則化項を加え、これを目的関数として最適化を行います。これにより正則化項がパラメータの大
行列のpノルムの定義と性質 - 具体例で学ぶ数学
$A$ は $n\times n$ 正方行列とします。$x$ は $n$ 次元ベクトル全体（からゼロベクトルを除いたもの）を動きます。 $\|x\|_p$ と $\|Ax\|_p$ は、ベクトルの $p$ ノルムを表します： $\|x\|_p=\sqrt[p]{|x_1|^p+ \cdots +|x_n|^p}$ 行列の $p$ ノルムは「変換前のベクトル $x$ の長さ」と「変換後のベクトル $Ax$ の長さ」の比の最大値を表します。つまり、拡大率の最大値とみなすことができます。 このノルムのことを「行列の作用素ノルム」「ベクトルの $p$ ノルムから誘導されたノルム」などと言うこともあります。 ノルムであること $\|A\|_p$ がノルムであることは簡単に確認できます。例えば、$\|A+B\|_p\leq \|A\|_p+\|B\|_p$ という三角不等式を満たすことは、ベクトルの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
