Deep Learning に関するまとめノート -4.3 勾配法- - Qiita

説明の概要 ここでは私がDeep Learningの勉強をしているときに本を読むだけでは分からなかったことを自分なりに解釈し、後で見返したときにスムーズに思い出せることを目的としています。 コードの内容もなるべく丁寧に説明してるつもりなので参考になれば幸いです。 4.3 勾配法 編 前の記事:Deep Learning に関するまとめノート -4.2 損失関数- でも説明したとおり、ニューラルネットワークの学習では最適なパラメータを探索して、損失関数の値を小さくしていくのが目的である。 では具体的にどのようにパラメータを更新していくのか。方法として今回説明する勾配法を使うのである。 勾配法 最初に簡単に勾配法で何を行っているのかの流れを書いておく。 1. 初期地点xを指定 2. 地点での関数の傾きを求める 3. 傾きをもとに地点xを更新 4. 傾きが0となるxが見つかるまで2-3を繰り返し