情報で出てくるエントロピーとは - HELLO CYBERNETICS情報理論は現代のコンピュータが実現されるよりも前からシャノンによって提唱され、そして実際に情報通信技術（符号化や暗号化）の基礎を築いてきました。今回はそんな情報理論のエントロピーにまつわる話です。 機械学習を少し勉強したことがある人にとっては馴染みの深いKLダイバージェンスは、情報理論では相対エントロピーとして知られる概念です。KLダイバージェンスは確率分布の隔たり（あるいは似ている度合い）を計る指標であるというのが、おそらく一般的な機械学習での解説です。今回はKLダイバージェンスまでは行きませんが、エントロピーなる概念の理解に努めていきます。（後々、KLダイバージェンス・相対情報量まで書きます） 情報の定式化 情報量が大きいとは？ 情報量を定式化する エントロピー 情報量の期待値 不確定であるほど、情報量の期待値は大きい 統計物理との関連（余談） 熱力学のエントロピー 統計力学のエントロ
