2つの GMM(Gaussian Mixture Model) の類似度を KL Divergence で測る - 糞糞糞ネット弁慶
結論から言うと，結構面倒なのでサンプリングで近似すれば良い．死ぬほど精度が必要とかで無い限り， 後述する Variational Approximation を使えば良さそう． 目的 GMMは正規分布の重み付き和で表現される確率分布．二つのGMMの類似度を測る必要が生じたので調べていたら案外と面倒だったのでメモしておく． KL Divergence 確率分布の類似度と言えばKLダイバージェンス．最近では正規分布間のKLダイバージェンスの導出 - 唯物是真 @Scaled_Wurmや多変量(多次元)正規分布のKLダイバージェンスの求め方 - EchizenBlog-Zweiでも触れられている． 誰か実装できる形にまで書き下しているかと思ったら閉じた形では書けないとのこと．そしてこれをどうにか近似するというのは最近でも取り組まれている研究テーマであるらしい． Approximating the
カルバック・ライブラーダイバージェンスの覚え方とか - シリコンの谷のゾンビ
久しぶりにブログ記事を書いてみる．リハビリがてらに軽いノリの記事を． 機械学習の勉強を始めてロジスティック回帰あたりに来ると出てくるカルバック・ライブラーダイバージェンス (以下KLd) ．機械学習以外の文脈でも分布同士を比較する場合にまっさきに出てくる．僕は輪講などでKLdが出てくるたびに 「ふぅん，ここでカルバック・ライブラーダイバージェンスを使うんだぁ・・・」 とか言って通ぶっていたけれど，実は空で式を書けなかった．実に痛い子である．だって覚えづらい．とにかく覚えづらい． だっけ? だっけ? Q/P とか P/Q とかせっかく分子分母の順番を覚えても先頭にマイナスつけると分子分母が入れ替わるからまた性質が悪い． というわけで「じゃあちょっと書いてみて」と先生に当てられた際に，黒板に向かってスラスラと書くための覚え方を紹介してみる． さて，KLdといえば (非対称な) 分布の類似度であ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
