機械学習 名古屋 分科会 #6に行ってきた | kako blog機械学習 名古屋 分科会 #6に行ってきた。 前回の続きだ。 今回は、5章の誤差逆伝播法についてで、5章の後半の途中までやった。 前回は勾配降下法で、偏微分によって評価関数の最大値にニューラルネットを近づける繰り返し計算をしていたのだが、これは計算量が多い。 より効率的に計算をするための工夫として、誤差逆伝播法というのがある。 ニューラルネットの計算に限らず、計算は、その手順を「グラフ」というもので表すことができる。 y = ax + bは、aとxの積のグラフと、それに繋がるaxとbとの和のグラフを結合されたグラフとなる。 「グラフ」と呼ぶと逆に分かりにくいので、これはy=f(x)という関数だと考えるのがいいと思う。 そして、このグラフは逆から辿って逆計算をすることができる。逆関数とも考えられる。 グラフの右端に微少量を入れて逆計算すると、y=ax+bの偏微分を求めるのと同様の計算ができる
