はじめに 前回の続きです。 yaju3d.hatenablog.jp 勾配降下法をどうして使うのかは理解できたのですが、その計算方法がまだ理解が足りてなくて、微分の本とかを読んでいました。 数学は苦手なんですが、理解はしたい。おまじないとかそういうルールだからとかで済ましたくないんですよね。 勾配降下法の他にも最急降下法とか確率的勾配降下法の用語がありますので、この違いも理解したい。 今回は下記の本(Kindle)を参考にしている。 勾配降下法 勾配には、傾斜の程度・斜面という意味があります。 上図では1変数による関数でグラフは放物線となります。 リンゴとミカンの値段を求める場合は2変数による関数となり下図のようにワイングラスの底のような形になります。ちなみに3変数以上は図で表わすのは困難です。 下図は関数のグラフの一部を拡大し、斜面に見立てた図となります。その斜面上のある点Pにピンポン玉
![ディープラーニング(深層学習)を理解してみる(勾配降下法:最急降下法と確率的勾配降下法) - デジタル・デザイン・ラボラトリーな日々](https://cdn-ak-scissors.b.st-hatena.com/image/square/a90dae424ab340ee3bb7aa0d9cfd62a1eda266e7/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2FY%2FYaju3D%2F20170917%2F20170917211137.png)