交差エントロピー - Wikipedia

情報理論において、交差エントロピー（こうさエントロピー）またはクロスエントロピー（英: cross entropy）は、2つの確率分布の間に定義される尺度である。符号化方式が、真の確率分布 ではなく、ある所定の確率分布 に基づいている場合に、とりうる複数の事象の中からひとつの事象を特定するために必要となるビット数の平均値を表す。 同じ確率空間における2つの分布 と において、 の に対する交差エントロピーは、次のように定義される。 ここで、 は のエントロピー、 は から のカルバック・ライブラー情報量（相対エントロピー）である。 と が離散確率変数なら、これは次のようになる。 連続確率変数なら、同様に次のようになる。 なお、 という記法は交差エントロピーだけでなく、結合エントロピーにも使われるので、注意が必要である。

[mnru]

“ ナビゲーションに移動 検索に移動 情報理論 情報量 情報量 微分エントロピー 条件付きエントロピー 交差エントロピー 結合エントロピー 相互情報量 カルバック・ライブラー情報量 エントロピーレート 通信路 情報源符

[goodstoriez]

“交差エントロピー最小化は、最適化問題と希少事象の予測によく使われる技法”

[kent-where-the-light-is]

“交差エントロピーやクロスエントロピー（英: cross entropy）とは、情報理論において2つの確率分布の間に定義される尺度である。符号化方式が、真の確率分布 p {\displaystyle p} ではなく、ある所定の確率分布 q {\displaystyle q}

[catindog]

なるほどでうす