Understanding Categorical Cross-Entropy Loss, Binary Cross-Entropy Loss, Softmax Loss, Logistic Loss, Focal Loss and all those confusing names
Understanding Categorical Cross-Entropy Loss, Binary Cross-Entropy Loss, Softmax Loss, Logistic Loss, Focal Loss and all those confusing names May 23, 2018 People like to use cool names which are often confusing. When I started playing with CNN beyond single label classification, I got confused with the different names and formulations people write in their papers, and even with the loss layer nam
交差エントロピー - Wikipedia
情報理論において、交差エントロピー（こうさエントロピー）またはクロスエントロピー（英: cross entropy）は、2つの確率分布の間に定義される尺度である。符号化方式が、真の確率分布 ではなく、ある所定の確率分布 に基づいている場合に、とりうる複数の事象の中からひとつの事象を特定するために必要となるビット数の平均値を表す。 同じ確率空間における2つの分布 と において、 の に対する交差エントロピーは、次のように定義される。 ここで、 は のエントロピー、 は から のカルバック・ライブラー情報量（相対エントロピー）である。 と が離散確率変数なら、これは次のようになる。 連続確率変数なら、同様に次のようになる。 なお、 という記法は交差エントロピーだけでなく、結合エントロピーにも使われるので、注意が必要である。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
