公式サイトより エントロピー (entropy) は今日、アニメでも重要な概念になっています。 「あれ、エントロピーってなんだったっけ?」 という私のような人のために、情報理論におけるエントロピーの概念をざっくり復習したいと思います。 エントロピーとは、「予測できなさ」 エントロピーとは、「予測できなさ」(Unpredictability) です。 例えば「今日は家にネギしかないし、買い出しは面倒だから外食しよう」と思ったとき、エントロピー的には自炊<外食となっています。自炊の場合、何を食べるかは完全に予測可能です(ネギです)。ところが外食の場合、牛丼、ラーメン、焼き肉、寿司などなど、何を食べるかの予測は難しいです。そのため、外食の方が情報量が多い、つまりエントロピーが大きくなります。 一般化すると、ある事象$X = X_1, X_2, ..., X_n$が起こる確率が、それぞれ$p =