はじめに 多層パーセプトロンの重みを更新する理論について解説します。 更新すべき重みがたくさんあるので単純パーセプトロンより難しいですが、ここがわかると近年流行したディープラーニングを理解するための基本ができあがります。 ただし、結構長いので、「理論はざっくりでいいから最終的に使える重み更新式が知りたい」という人は、別のサイトや本を読むのをお勧めします。 なお、記事中で使われる各種記号の定義は前回やりましたので、わからなくなったらそちらを参照してください。 数学の前知識 今回は数式がけっこう出てきます。 そこで必要な数学知識について、いくつか説明を書いておきます。 簡単のため前提条件を少し省略しているので、数学的に厳密ではない箇所はご容赦ください。 偏微分 偏微分は以前の記事でも出てきましたが、僕が誤解してまして、高校数学の範囲には含まれていないようでした。 そんなに難しいことではなく、複
![高卒でもわかる機械学習 (5) 誤差逆伝播法 その1](https://cdn-ak-scissors.b.st-hatena.com/image/square/947d64ef59e6ddabdb8f1c4e64e03562705d0b9a/height=288;version=1;width=512/http%3A%2F%2Fhokuts.com%2Fwp-content%2Fuploads%2F2016%2F05%2Fforward_back.png)