エントロピーとは サイエンスの人気・最新記事を集めました - はてな

情報量の計算では、確率 P で起こる事象に関する情報量はビットと計算される。確率 1/8 で起こることなら 3bit、など。稀な事象が起こったという情報ほど情報としての重要性が大きいと言うこと。たとえば「今日は中央線が人身事故のため遅れています」という情報はよくあることなので情報量が低い。しかし「阪神が日本シリーズで優勝した」という情報は稀なことなので情報量が多い。 なぜ なのかというと、例えば「中央線が止まってて、阪神が日本シリーズで優勝した」という情報の情報量はそれぞれの情報量の和になるが、そういう事が起こる確率はこの場合二つの事象がほぼ独立と考えられるので、中央線が止まる確率と阪神優勝の確率の積 となる。 となるので、log ならばちゃんと二つの情報量の和になることが分かる。 エントロピー 結合エントロピー 条件付きエントロピー 相互情報量 不確定性係数

[hycon]

中央線と阪神の例がわかりやすい