オンラインEMアルゴリズムで混合ガウス分布推論 - 木曜不足
ずいぶん前にできていたのだが、変分ベイズのフォローのために、ブログに書くのを後回しにしてたオンラインＥＭについて。 確率的勾配法など、通常はオンラインの方がバッチより収束が遅い。 が、ＥＭアルゴリズムについては、オンラインの方が収束が速いらしい。PRML にも「この逐次型のアルゴリズムはバッチ型に比べて速く収束する」と書かれており、また論文にもそういうデータが載っている。 EM アルゴリズムを実装してみると、確かに収束が遅い。 収束し始めてから遅いのなら許せるけど、２サイクル目くらいからすでに遅い。せめて最初くらいもうちょっと速くなんないの！ と文句言いたくなる。 EM アルゴリズムの１サイクルは結構重いので、さらにその気分を助長する。 というわけで、オンラインＥＭアルゴリズムについてとても興味が湧いたので、実装してみた。 参考にしたのは Neal and Hinton の increme
PythonでEMアルゴリズムを可視化してみた（混合正規分布） - くじらにっき++
可視化してみました。 解説 以下の動画が一番分かりやすいです。 www.youtube.com Q関数を最大化する, , の求め方は，実際に解いてみると，本当にラグランジュの未定乗数法を使うだけという感じでした。ただし という制約を組み込むのを忘れずに… について求めるところはちょっと迷ったので，導出を載せておきます。 ソースコード Pythonで書きました。movieディレクトリにpngを連番で出力します。アニメーションGIFを作るには以下のサイトを参照してください。 アニメーションGIFの作り方 ImageMagick編 hに関してのforループが残っていてnumpy力の低さが感じられますが，自信がある人は消してみてください。 # coding: UTF-8 import os import shutil import scipy import scipy.stats import m
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
