エントロピーを最大にする分布｜会沢修也確率分布に対して、エントロピーという量が定まります。 $${H(p(x)):=\sum_x -p(x)\log p(x)}$$ これは「情報量」を表す量であり、熱力学(物理)的なエントロピーとも対応する興味深い対象です。この記事では、「情報量」であることの直感的なモチベーションを回収し、どんな確率分布だとエントロピーが大きくなるか、について考察します。 1.エントロピーの意味エントロピーの表式$${H(p(x)):=\sum_x -p(x)\log p(x)}$$は、$${-\log p(x)}$$という値に対する平均値と見ることができます。砕けた言い方をすれば、この量は「ビックリ度合い」を表すものです。 例えばある人が、 ・宝くじで3等を当てた ・宝くじで1等を当てた というようなとき、よりビックリするのは当然1等を当てた場合でしょう。なぜよりビックリするのかと言えば、その発生確率が後者
