後ほど具体例で見るように、$P$ と $Q$ が似ている分布のとき、交差エントロピーは小さくなります。 交差エントロピーは、機械学習(2値分類、多値分類)における予測の誤差として使われることが多いです。実際、$P$ を「正解の分布」、$Q$ を「予測の分布」とすると、機械学習による予測が正解に似ているほど、$P$ と $Q$ の交差エントロピーが小さくなると考えることができます。 2値変数の交差エントロピー 例えば、$P$ も $Q$ も二値変数(ベルヌーイ分布)の場合 つまり、 $P(x_1)=p$、$P(x_2)=1-p$ $Q(x_1)=q$、$Q(x_2)=1-q$ のとき、 交差エントロピーは、 $-p\log q-(1-p)\log(1-q)$ となります。 いろいろな $p$ と $q$ に対して交差エントロピーを計算してみました: