Chainerで勾配法の基礎の基礎を確認【ニューラルネット入門】 - HELLO CYBERNETICS

勾配法はニューラルネットワークの学習の基礎になります。基本的な問題を見て、勾配法を確認してみましょう。 勾配法 簡単な例 Chainerによる勾配法の確認 実用上の問題 回帰の問題 ニューラルネットワークの学習とは 最後に 勾配法 勾配法とは最小化問題や最大化問題などの最適化問題を解くための手法の１つです。例えばパラメータに対して、目的関数があった場合に、をどのような値にすれば、が最小値を取るのかを探索することに使えます。 簡単な例 以下のように という関数があったとしましょう。このときをどのような値にすればを最小化できるのかというのが、最小化問題です。答えは簡単でと変形できることに気づけば、でが答えになります。 この問題に勾配法を用いる場合は以下のような考えで問題を解くことになります。 でとりあえず始めてみる。 このときの微分値を求めましょう。 であるので、 と求まります。このときの勾配