情報エントロピー 【information entropy】 平均情報量 / average information content 概要 情報エントロピー(information entropy)とは、ある事象の組み合わせで表される系で、各事象の情報量の平均のこと。統計力学における無秩序さの指標であるエントロピーに似た概念であるためこのように呼ばれ、事象の不確かさの程度を表している。 情報理論における情報量は事象の生起確率によって定義され、例えばコインを投げて表が出る確率は1/2(50%)であるため、「コインを投げたら表が出た」という情報の情報量は-log2(1/2)で1ビットとなる。 コイントスの全事象は「表が出る」「裏が出る」の2つで、生起確率はどちらも1/2、情報量は1ビットである。よって、全事象の平均情報量も(1+1)/2で1ビットであり、これがコイントスの情報エントロピーである
![情報エントロピーとは - IT用語辞典](https://cdn-ak-scissors.b.st-hatena.com/image/square/9846ab2080ca2a3a2477bb46934eaa3835eaf338/height=288;version=1;width=512/https%3A%2F%2Fp.e-words.jp%2Fogimage.png)