確率分布に対して、エントロピーという量が定まります。 $${H(p(x)):=\sum_x -p(x)\log p(x)}$$ これは「情報量」を表す量であり、熱力学(物理)的なエントロピーとも対応する興味深い対象です。この記事では、「情報量」であることの直感的なモチベーションを回収し、どんな確率分布だとエントロピーが大きくなるか、について考察します。 1.エントロピーの意味エントロピーの表式$${H(p(x)):=\sum_x -p(x)\log p(x)}$$は、$${-\log p(x)}$$という値に対する平均値と見ることができます。砕けた言い方をすれば、この量は「ビックリ度合い」を表すものです。 例えばある人が、 ・宝くじで3等を当てた ・宝くじで1等を当てた というようなとき、よりビックリするのは当然1等を当てた場合でしょう。なぜよりビックリするのかと言えば、その発生確率が後者
![エントロピーを最大にする分布|会沢修也](https://cdn-ak-scissors.b.st-hatena.com/image/square/2e91bab36e4f80a23563a6800a44c8d29398e92e/height=288;version=1;width=512/https%3A%2F%2Fd2l930y2yx77uc.cloudfront.net%2Fproduction%2Fsocial_images%2F17516dd5dfc4a3fa3cb6acada374c3b3ea7af681.png)