めちゃめちゃ丁寧にソフトマックス回帰での交差エントロピー誤差を微分する - Qiita

はじめに 深層学習をイチから勉強しなおそうと思って，ソフトマックス回帰について勉強・実装したので誰かの参考になると幸いです． 対象： 教師あり学習・分類はわかるよ〜な人． ロジスティック回帰ならわかるよ〜な人． 高校レベルの微分ならわかるよ〜な人． 行列の掛け算ならできるよ〜な人． ソフトマックス関数とは（１） ソフトマックス関数は，多クラス分類に良く使われる関数です． 深層学習の出力層なんかでも登場しますね． こんな形 f(x_1, x_2, \cdots, x_i, \cdots, x_K)_i = \frac{exp(x_i)}{\sum_{k=1}^{K}exp(x_k)} ひ〜〜〜 数学アレルギーだった僕にとって見るだけでも非常に辛かったのを覚えてます。。。 そもそも． どうしてこのような変換をするのか． それはクラスラベルの確率を知りたいからです． ？？？ 例えば画像データを{