相互情報量 - Wikipedia

相互情報量（そうごじょうほうりょう、英: mutual information）または伝達情報量（でんたつじょうほうりょう、英: transinformation）は、確率論および情報理論において、2つの確率変数の相互依存の尺度を表す量である。最も典型的な相互情報量の物理単位はビットであり、2 を底とする対数が使われることが多い。 定義[編集] 形式的には、2つの離散確率変数 と の相互情報量は以下で定義される。 ここで、 は と の同時分布関数、 と はそれぞれ と の周辺確率分布関数である。 連続確率変数の場合、総和の代わりに定積分を用いる。 ここで、 は と の同時分布密度関数であり、 と はそれぞれ と の周辺確率密度関数である。 どちらの場合でも相互情報量は負とならず（）、対称性がある（）。 これらの定義は対数の底が明示されていない。離散確率変数の場合、最も一般的な相互情報量の尺

[rin1024]

相互情報量について