情報理論まとめ - Qiita１つ確率変数(Random Variable)の事象(Event)に対して定義 情報量(Information) １つの確率変数に対して定義 エントロピー(Entropy) 1つの確率変数の2つの分布(Distribution)に対して定義 クロスエントロピー(Cross Entropy) 相対エントロピー(Relative Entropy) Jensen Shannon Divergence 2つの確率変数のそれぞれの事象に対して定義 Pointwise Mutual Information 2つの確率変数に対して定義 相互情報量(Mutual Information) 条件つきエントロピー(Conditional Entropy) 離散確率変数の場合 情報量 確率変数を$X$、事象$x\in X$の分布を$p(x)$とする イベントが観測された時に得られる「びっくり量」 確率が低いほど
