交差エントロピー(Cross Entropy) - neuralnetの日記2016 - 05 - 17 交差エントロピー(Cross Entropy) ※ MNIST for ML Beginnersの数学的な意味合い の続きです。 MNISTは、手書きの文字が0,1,2,..,9までの数字のうち、どの数字になるかを決めるというものでした。 例えば正解が2、つまり だったとして と のどちらがより正解に近いかを決めるための尺度として、交差 エントロピー というものを採用しています。 zとyの交差 エントロピー の定義は以下の通りであり、この値が小さいほど好ましい状態です。 正解がOne Hot(1つだけ100%で残りが0%)な確率分布なので、2項目以外は無視され、 となります。( は、 のj番目の変数を示します。) 上記のような簡単な計算で出てくる値が何を示すのか考えてみたいと思います。 エントロピー と自己情報量 ある確率分布 の エントロピー とは、各要素
