情報量・エントロピー＜ハードウェアとソフトウェア＜Ｗｅｂ教材＜木暮仁

学習のポイント キーワード 情報量、エントロピー 情報の価値は、その情報を入手したときに、入手しなかったときと比べて、どれだけ利益を得るかで決まります。それには、伝えられた情報の量と情報の内容の重要性の二面があります。このうち、ここでは量の面だけを取り扱います。 １個の硬貨が表か裏かをあてるゲームをするとき、内通者が表だと教えてくれる場合と、サイコロの目が５であることを教えてくれる場合では、後者のほうが情報量が大きいことは常識的にうなずけます。後者の情報量は前者の情報量の何倍になるのかというようなことを数学的に考えようとするのが情報理論です。 ここでは、情報理論の基本的な概念である情報量とエントロピーについて説明します。なお、厳密にはこの情報量のことを選択情報量（自己エントロピー）といい、後述のエントロピーのことを平均情報量（平均エントロピー）といいます。 情報量 情報量の定義 情報理論で