KL情報量(カルバック・ライブラー・ダイバージェンス)は、確率分布どうしの距離的な尺度で、次元削減とか機械学習とかいろんなところでとってもよく出てきます。が、使うときはその意味はあまり考慮する必要はないので、今回はあえてそこを考えます。 情報量 まず、情報量について考えます。情報量というのは、情報の価値の指標です。情報の価値は、その情報が発生する確率に依存します。起こるのが珍しいほど良い情報ということです。 例えば、「宝くじが当たった」という情報は情報量が高く、「地球がまわった」という情報は情報量が低い、というようになっています。まあ、確かにレアなものほど嬉しい気はしますよね。こういったように情報量という指標をシャノンさんが定めました。具体的には次式のように表現します。 は単調増加の関数で、確率の逆数をとっているので、はが小さいほど大きくなるような量として設計されていることがわかります。こ