エントロピーからKLダイバージェンスを理解する | マサムネの部屋

[エントロピーの持つ性質] \(p=\{ p_i \} \)を離散な確率分布とします。つまり、\( \sum^{N} p_i =1 \)とします。 \( H( p) \geq 0 \)もしも、\( p_i =1 \)となる\(i \)があると、\( H=0 \)\( H\) が最大になるのは、\( p_ i =1/N \)のとき。 2番の性質から、データのヒストグラムが尖った形な程エントロピーは小さな値を取る事が分かります。逆に、均質的でなだらかなヒストグラムに対しては大きな値を取ります。 性質の証明 性質を確かめてみます。前半2つは簡単です。 \(0 \leq p_i \leq 1 \)なので\( \log p_i \leq 0\)です。これから、エントロピーが0以上であることが分かります。 \(p_i =1 \) という事は、\( \log p_i =0 \)という事です。このとき、他