情報量 | 情報エントロピー（平均情報量）の求め方とその取りうる値域の証明

2021.03.30 情報量は「場合の数」の比を対数化したものである（情報の分野で、対数底として 2 を用いる）。例えば、コドンを一つ想定したとき、単にコドンと言われると、その取りうる場合の数は 4×4×4 = 64 通りとなる。次に、「コドンの 1 番目の塩基は T です。」という情報が得られたとする。この情報を知った後、コドンの取りうる場合の数は 1×4×4 = 16 通りになる。「コドンの 1 番目の塩基は T です。」という情報を知る前は 64 通り、知った後は 16 通りになる。このとき、「コドンの 1 番目の塩基は T です。」という情報の情報量は log(64/16) = 2 のように計算される。このように、情報量はある情報を「知る前の場合の数」と「知った後の場合の数」の比を対数化したもので定義される。 \[ p = \log\frac{\text{事前の場合の数}}{\te

[teddy-g]

パケットのビットのエントロピーを計算したくて調べた。256ビットだとエントロピーはMAX256になるということでいいのかしら。