深層学習／行列積の誤差逆伝播 - Qiita

1.はじめに 行列積の誤差逆伝播が分かりにくかったので、まとめておく。 2.スカラー積の誤差逆伝播 スカラー積の誤差逆伝播から復習すると、 勾配を行う対象をLとし、あらかじめ$\frac{\partial L}{\partial y}$が分かっているものとすると、連鎖律から これは問題ないですよね。 3.行列積の誤差逆伝播 ところが、行列積になると直感と変わって来ます。 なんか、ピンと来ませんよね。なので、具体的に確認します。 設定は、2つのニューロンXと4つの重みWの内積を経てニューロンYに接続されていると考えます。 **1)最初に、$\frac{\partial L}{\partial X}$を求めます。**まず、これらを事前に計算しておきます。 この計算を途中で利用しながら、 **2)次に、$\frac{\partial L}{\partial y}$を求めます。**まず、これらを事