多クラス交差エントロピー誤差関数とソフトマックス関数，その美しき微分 - Qiita

はじめに 多クラス交差エントロピーはcategorical cross entropyとも呼ばれます． 実際に，深層学習フレームワークのkerasではcategorical_crossentropyという名前が使われています． 分類問題などに取り組む際，入力をソフトマックス関数に通して多クラス交差エントロピーをロス関数にすることは多いのではないでしょうか． 今回はこのソフトマックス関数+多クラス交差エントロピー誤差関数をソフトマックス関数の入力で微分します． 本稿はDeep Learning本の式10.18の行間埋めです． このため，時刻$t$という添字が入っています． 一般的に考えると，$t$はデータのインデックスに対応するはずです． 定義 $t$番目の学習データのラベルの1-of-K表現を$\mathbf{y^{(t)}}$とします． また，$t$番目のモデルの出力を$\mathbf{