この記事は、Deep Learning Advent Calendar 2016の23日目の記事です。 現在、Deep Learningではニューラルネットワークを学習させる手法として、誤差逆伝搬法がほとんどの場合使われています。 ですが、誤差逆伝播法(Back Propagation)は生物学的妥当性がない、要するに実際に人の脳とは違うのではないかということが言われており、 Difference Target Propagation という手法がICLR2015 workshopにて提案されました。 ここではDifference Target Propagationの元になっているTarget Propagationから解説し、Differenceの方を紹介しようと思います。 ※ちなみにBack Propagationについては別の記事で詳しく書いているので知らない方は見てみるといいかも