世の中には、分布の差を表す指標が幾つかあります。それらの違いって数式ではわかるけど、実際にはどんな違いがあるかっていまいちわからないことが多いのです。なので、今回はそれらを可視化してみることにしました。 正規分布 最も基本的な分布です。平均と、平均からの散らばり具合である分散を与えることで、分布が得られます。 今回はこれを分布とします。 扱う指標(数式) Histogram Intersection 2つの分布の共通領域を算出します。 ヒストグラムのような離散値に使います。細かく空間を区切ってやれば連続値にも使えそう。 なお、次から紹介する量は差なのに対し、HIは類似度であるため、高いほうが近いというものになっています。 KLダイバージェンス 非対称(pとqは交換できない)なため、こういう表記にします。相対エントロピーなどの概念に基づき、 2つの分布間の距離を計算します。 JSダイバージェ
![【可視化】カルバックライブラーなど分布の差を表す指標の違い - プロクラシスト](https://cdn-ak-scissors.b.st-hatena.com/image/square/0bc02076aa0537aead00f43b1daa5a9b2cba685d/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fi%2Fimslotter%2F20161019%2F20161019224424.png)