交差エントロピーについて基本的な考え方をまとめてみました | アシアルブログ

こんにちは。 Monaca開発チームの内藤です。 交差エントロピーという関数をご存知でしょうか？ 機械学習における分類問題やロジスティック回帰などで評価関数として利用されることの多い関数で、次のような形をしています。 でもこれ、なんかちょっと、ヘンテコな形の式ですよね。 log とか出てきますし、、。あまり普段は見かけない形の関数です。 よく使われる関数であるわりに、なかなかまとまった解説がないようなので、今回はこの交差エントロピーについて、基本的な事項についてまとめてみました。 （交差でない普通の）エントロピーについて 普通のエントロピーは、情報量とも呼ばれていて という形をしています。これは、（定数倍を除いて）データの平均量を表しています。（なお、この定義は情報理論で定義されているエントロピーであり、単位はありません。エントロピー自体はもともと統計力学で最初に導入されたもので、こちらは

[n_matagawa]

類似度の測り方にも色々ありますね。使えるものは利用していくスタイル