なぜ交差(クロス)エントロピーが機械学習（ニューラルネットワーク）の損失関数に使われるのか？

交差エントロピーの意味 まず交差エントロピーは、以下の式で表されます。 $$E=-\sum_{k}{{q(k)}log(p(k))}$$ pは、ニューラルネットワークで学習された確率。分類問題では学習データの正解率として出力されます。 qは、教師データの確率。１（１００％）と０（０％）で出力されます（詳しくは後述） ちょっと数学チックに言うと、「確率分布pと確率分布qの近似性を表現する関数」と言うことになります。 この性質から、機械学習の損失関数に交差エントロピーが採用されています。 ちなみに、「交差」というのは２つの確率分布pとqを組み合わせていることに由来しているらしい。 さらに、分類問題で使う際にはシグマのない非常にシンプルな数式になります。 $$E=-log(p(k))$$ 分類問題の場合、教師データは全て0と1になります。つまり０％か１００％かという二択になるということ。 例えば