情報エントロピーとは、 「事前に分かっている情報がどれくらいあるかということを知るための尺度」 反対に言うと 「今、そのことについて自分がどれだけ無知かを表すための尺度」 ですから、【情報エントロピーが大きい状態】とは、 「なにか情報を得る前になにも分かっていない」 「今、そのことについて自分がなにも情報を持っていない」 ということです。つまり、 「結果の予測がつかないということであり、情報として曖昧であり、十分とはいえない」 ことを示しているのです。ということは【エントロピーが大きい状態とはこれから得る情報のありがたさが非常に大きい】ということになります。これから得る情報の期待値が高いというわけです。ですから【情報を受ける側としてエントロピーが大きい事象に関する情報はありがたい情報】なわけです。反対に【情報エントロピーが小さい】ということは、予測がしやすいことでもあり、すでに十分な情報が