ニューラルネットワークの基礎を整理しよう(3)ーPythonによるニューラルネットワークの実装 - Qiita

はじめに 前回に引き続きニューラルネットワークの基礎について整理します。 今回は最終的にXOR回路をニューラルネットワークに学習させることがゴールです。 勾配降下法について ニューラルネットワークの基礎を整理しよう(１）で軽く触れましたが、ニューラルネットワークの目標は出力と正解の誤差ができるだけ小さくなるような重みとバイアスを探すことでした。その目標へのアプローチの一つに勾配降下法があります。あるパラメータ$\omega$について、勾配降下法を用いて更新する様子を以下の式に示します。 $$\omega=\omega-\eta\frac{\partial f}{\partial \omega} -(1)$$ まず、$\eta$は学習率といい、どれくらいの大きさで更新するかの倍率を示しています。この定数は大きすぎると目標とする地点を過ぎてしまい、小さすぎると目標の地点に到達するのにたくさんの