Python機械学習プログラミング 2.4 ADALINE 2.5勾配降下法 - Qiita

線形活性化関数によって得られた連続的な値で重みを再計算する (大誤算だったら大きく重みを更新するとかそういう感じかな) ADALINEの特性 連続値のコスト関数(?)の定義とその最小化(多分誤差を０に近づける意?)に関する重要な概念(?)を具体的(?)に示す 2.5 勾配降下法によるコスト関数の最小化 コスト関数とは わからない 目標 目的関数の中にコスト関数というものがある。それを最小化したものがモデルとなる コスト関数$J(w)$は $ J(w)=\frac {1}{2} \sum_i(y^i-\phi(z^i))^2 $ と定義される。真値と活性化関数によりはじき出された結果の差(誤差)を二乗した和である。 この値を小さくすればそれはつまり真値に近いということになる(線形回帰のイメージでいいのかな) 重みの更新 w += dwの要領で $ w := w + \Delta w $ $\