深層学習／ニューラルネットワークをスクラッチで組んでみる - Qiita

1.はじめに 今回は、順伝播、誤差逆伝播を理解する為に、実際に動くニューラルネットワークをスクラッチで実装してみます。データセットはMNISTを使います。 2.ニューラルネットワークの仕様 入力層28×28=784個、中間層10個、出力層2個のニューラルネットワークとし、活性化関数・誤差関数は sigmoid 、最適化手法は勾配降下法とします。 データセットは、MNISTから「１」と「７」を抽出したものを使い、2値分類を行います。 3.順伝播 まず、$a^0_0$を計算すると、$x^0_0$から$x^0_{783}$まで784個の入力が入っていて、それぞれ重み$w^0_{00}$から$w^0_{783,0}$が掛かっているので、 行列で表すと、$a^0_0$から$a^0_9$の全ての計算を簡単に表せます。 $x^1_0$から$x^1_9$は、$a^0_0$から$a^0_9$を活性化関数si