雑記： 交差エントロピーって何 - クッキーの日記

機械学習をしているとよく交差エントロピーを最小化させられると思います。 でも冷静に考えると交差エントロピーが何かよくわかりませんでした。むしろエントロピーがわかりませんでした。 以下の記事を読み、もっと無理がない例で短くまとめたかったのですが、やはり例に無理があり、長くなってしまいました。参考文献 情報理論を視覚的に理解する (1/4) | コンピュータサイエンス | POSTD 情報理論を視覚的に理解する (2/4) | コンピュータサイエンス | POSTD 情報理論を視覚的に理解する (3/4) | コンピュータサイエンス | POSTD 情報理論を視覚的に理解する (4/4) | コンピュータサイエンス | POSTD ニューラルネットワークと深層学習 以下はこれら記事の劣化アレンジです。 A国、B国、C国があります。 A国では、一日の天気は25%ずつの確率で晴れ、曇り、雨、雪にな

[stealthinu]

クロスエントロピーについて大変わかりやすかった。分布が非常に偏ってたときなぜ２乗誤差よりクロスエントロピー使ったほうがいいのがこれでわかると。

[hoxo_m]

すごくわかりやすくて面白かった。

[phmpk]

これだけわかりやすく解説できる人を本当に尊敬する

[otakumesi]

わかりやすすぎて感動した

[blueroom555]

この人すごい。知の高速道路が1つ整備された。

[kent-where-the-light-is]

“交差エントロピーは Q=PQ=PQ=P のときに最小となるので、分類器を学習して QQQ を PPP に近づくよう改善していく作業は、正解の分布に合わせてエンコードを最適化しようとする作業に似ています。”

[mooz]

“交差エントロピーの利点は、分布がまるで期待外れのとき（誤差が大きいとき）学習の速度が速い点です。2乗誤差は、誤差が大きいときに必ずしも学習が速くなりません。”

[nosnosnos]

交差エントロピー

[MoriKen254]

すばらしく分かりやすかった．