PyTorch Tutorialの例題がWarm-upから解りにくかったので書き足した【勾配降下法】 - Qiita

PyTorchに深層学習を勉強するためのTutorialに例題が豊富にあって大変有り難いのですが、初っ端から何をやっているのか全然わからなかったので、解説を付け加えました。 今回解らなかったのは勾配降下法を説明したページです。 そもそも勾配降下法とは 深層学習や機械学習では、人工的な関数（モデル）を作って、それをできるだけ自然界に近似させることをしているのですが、コンピュータは現時点の関数が目標に近づいているのか遠のいているのかを知らないといけません。それを知る方法というのが勾配降下法です。目標までの距離を図るのが目的関数あるいは損失関数と呼び、損失が最小になるように、モデルを最適化します。 例えば下図で、青い線を損失関数とすると、その最小値に到達するようにモデルを最適化しますが、現時点から左右のどっちに行けば最小値に近づくかは、その場所での傾き（勾配）から分かります。例えば、勾配がプラス