久しぶりにブログ記事を書いてみる.リハビリがてらに軽いノリの記事を. 機械学習の勉強を始めてロジスティック回帰あたりに来ると出てくるカルバック・ライブラーダイバージェンス (以下KLd) .機械学習以外の文脈でも分布同士を比較する場合にまっさきに出てくる.僕は輪講などでKLdが出てくるたびに 「ふぅん,ここでカルバック・ライブラーダイバージェンスを使うんだぁ・・・」 とか言って通ぶっていたけれど,実は空で式を書けなかった.実に痛い子である.だって覚えづらい.とにかく覚えづらい. だっけ? だっけ? Q/P とか P/Q とかせっかく分子分母の順番を覚えても先頭にマイナスつけると分子分母が入れ替わるからまた性質が悪い. というわけで「じゃあちょっと書いてみて」と先生に当てられた際に,黒板に向かってスラスラと書くための覚え方を紹介してみる. さて,KLdといえば (非対称な) 分布の類似度であ