エントロピーとユークリッド距離の違い

分布（つまりは関数）を要素(いわば「点」）とする空間（関数空間）では、二つの関数（点）の間の「近さ」ってものを定義してやらないと、隔たりを測りようがありません。比較をする目的に応じて尺度を作ってやる訳で、KL情報量もそのひとつということです。 ご質問にある数値例は、「二つの分布（確率密度関数）の間のユークリッド距離の例」としては不適切でしょう。分布f, gの間のユークリッド距離D(f,g)の２乗（普通は「二乗ノルム」と言いますが）すなわち (D(f,g)^2) = ∫ ((f(t)-g(t))^2) dt (∫はf,gの定義域に関する定積分） が役に立つのは、「tが幾らであろうと、また、f(t), g(t)が幾らであろうと、両者の差の絶対値が同じであればf, gの隔たりは同程度」と考えることが適切であるような場合です。 一方、f,gが確率密度関数である場合、例えば変量tが[T, T+1]の