0. 背景 「ゼロから作る Deep Learning - Pythonで学ぶディープラーニングの理論と実装」を手にニューラルネットワークの勉強をしていたのですが、5章・誤差逆伝播のAffilneレイヤの逆伝播の式変形の理解に時間がかかったので、小さな次元で計算してみました。その過程を自分の備忘録的に記述します。 目標としては、低次元ながらも次の式が成分計算で求められることとします。($T$は転置行列を意味します) \begin{align} \frac{\partial L}{\partial \boldsymbol{X}} &= \frac{\partial L}{\partial \boldsymbol{Y}}\cdot \boldsymbol{W}^T \\ \frac{\partial L}{\partial \boldsymbol{W}} &= \boldsymbol{X}^