f-divergenceと汎関数微分 - れおなちずむこんにちは🐬🐬🐬 情報理論の分野ではしばしばKullback-Leibler divergence(KL divergence)とよばれる量が登場します。 $$ D_{KL}(p||q) = \int p(x)\log \frac{p(x)}{q(x)}dx $$ このKL divergenceは、任意の確率分布$p,q$に対して常に非負の値をとることが知られています。 実際、常に$x-1 \geq \log x$が成り立つことに注目すると、 $$ D_{KL}= -\int_x p \log\frac{q}{p} \geq -\int_x p\left( \frac{q}{p} - 1 \right) = \int_x (p - q)= 0 $$ です*1。等号が成立するのは$x=1$、すなわち$p=q$のときであり、それに限られることもわかります。 距離$d$に必要な4公理 非負
