CrossEntropyとBinaryCrossEntropyについて理解する｜Coding Memorandum

Cross Entropy Lossとは？ 多クラス分類では損失関数としてCross Entropy Lossがよく用いられています。一般的過ぎてどのフレームワークでも引数を指定するだけで計算できるので便利ですが、どういう計算をしているか確認を行いました。 まず、wikipediaから数式を参照すると下記の通りとなります。 pが真値の確率変数でqが予測した確率変数となるので、例えばp=[1, 0, 0]というラベルに対する予測値がq=[0.7, 0.2, 0.1]という場合、Cross Entropy Lossは下記のように計算できます。 上記から、真値が0の場合に予測値が誤って大きな値を予測したとしても損失が変化しないことが特徴としてありそうです。これは例えばq=[0.51, 0.48, 0.01]とq=[0.51, 0.25, 0.24]という場合、同列に扱われるということになります(