2.5 コスト関数と勾配降下法について - Qiita

コスト関数とは どのぐらい学習が正確に駅ているかを判断する指標となる。誤差関数や狭義ではあるが目的関数とも呼ばれる。 アルゴリズムの評価 下図のようなデータを適当に作って、直線で近似することを想定する。 横軸を$x$(入力値)、縦軸を$y$(出力値)とする。 今回はものすごく単純化するためにユニット数1で1層のADALINEで考える。 $w$を重み、$x$を入力値とすると、そう総入力関数は $ f(x) = wx $ のようにただの実数の積となる(ユニット数1のため)。この$f(x)$とデータの真値$y$を比較すると、 その差(誤差)$d$は次のようになる $ d = |y - f(x)| $ 最小二乗法をここで用いるためこの誤差$d$を二乗し、またサンプル数$n$だけすべて足すと $ J(w) = \sum_{i = 0}^{n}(y_n-f(x_n))^2 $ この$J(w)$をコスト