Kenichi Kurihara's Site - Variational Dirichlet Process
Gaussian Mixture Model
This software implements several algorithms. (see References section below.) My PhD thesis uses similar notation for the parameters of the code. Please find Eq 3.11. You might find the thesis more useful when you read the code. accelerated variational Dirichlet process Gaussian mixture modelcollapsed variational stick-breaking Dirichlet process Gaussian mixture modelvariational Gaussian mixture mo
ディリクレ過程混合モデルへの変分推論適用について - old school magic
この記事について ノンパラメトリックベイズは分かりやすいチュートリアルは良く見かけるのですが、そこから一歩進んだ(日本語の)資料に行きつけなかったので、色々と論文読んで簡単に(数式を出さないで)まとめてみます。 ぶっちゃけるとCollapsed Variational Dirichlet Process Mixture Modelsの簡単な要約です。 あまり自信がないのでもし間違ってたりしたらご指摘お願いします。 前の記事よりはまともな説明ができれば...と思います。 Infinite Gaussian Mixture Model (IGMM) の情報まとめ - old school magic 事前知識としてノンパラベイズと変分推論の知識が必要ですが、ノンパラベイズは持橋さんの分かりやすい解説があるのでご紹介します。 最近のベイズ理論の進展と応用 (III) ノンパラメトリックベイズ デ
PRML 10章の変分ベイズによる混合ガウス分布推論の検証（フォロー編) - 木曜不足
「パターン認識と機械学習(PRML)」10.2 章に従って変分ベイズ(Variational Bayes, VB)を R で実装してみて、PRML に書いてある内容通りか確認してみたところ、なんか違う。 「『変分混合ガウス分布は、余った混合要素は勝手にゼロになるから K が大きくてもいいよ』とか書いてあるけど全然縮退しないよ。ベイズ職人でないとうまくいかないらしいよ」 「初期値について『対称性から、通常 m_0=0 とおく』と書いてあるけど、ほんとに m_0=0 にしたら、全パラメータが k に対して同じ値になっちゃうよ」 と言いふらしていたら、スクリプトのバグだった。 ので、罪滅ぼしにまじめにもうちょっといろいろ検証してみたよ、というお話。 経緯 変分ベイズ実装(PRML 10.2) https://shuyo.hatenablog.com/entry/20100306/variatio
変分ベイズ実装(PRML 10.2) - 木曜不足
「Old Faithful の推論を K-means と EM について、Ｒで実装」の続き。 【追記】実装にバグが見つかり、この記事の末尾の「うまく縮退しない」は間違いでした。→フォロー記事へ PRML １０章、変分推論(変分ベイズ)がいまいちわからない。 観測＆隠し変数のハイパーパラメータにも事前分布を導入(ここが「ベイズ」) 隠し変数＋ハイパーパラメータ間に、「適当な独立性を仮定」して排反なグループに分割し、それぞれ任意の分布を想定(ここが「変分近似」？？？) 個々のグループごとに、対数同時分布の事後期待値を最適化(ここは EM と同様の枠組み) ということだろう、と理解したつもりだが、実感として掴めない。「排反なグループに分割」って漠然と言われてもなあ。 例によって、言葉を定義せずに使うし。「変分近似」って、何ね？ 毎度ながら、こういうときは手を動かすに限る。 明日の PRML 読書
CVB0へようこそ！ - Bag of ML Words
ここではMachine Learning Advent Calendarの一記事として、ベイズ推論の研究者の間で少しだけ認知され始めたCollapsed Variational Bayes(周辺化変分ベイズ、CVB)にもとづく推論のお話をします。 なお、私はあくまでユーザとしてCVBを使っているだけです*1。でも、多分間違ったことは書いていないと思います。もし間違ってたら教えていただけると嬉しいです。 そもそも確率的生成モデルとかが分からない方はPRMLや統数研の公開講座「確率的トピックモデル」の 資料などをご覧ください。 CVBのご利益 まずは、既存のベイズ推論手法に対してのadvantageです。 高精度: 理論的には大域解を得られるはずのGibbs samplerに比しても、だいたい同程度、しばしばより良い解が得られます 収束が早い: 多くの場合、素早く収束します 実装が簡単（比較級
PRML 読書会 #13 １０章 近似推論法(変分ベイズ) - 木曜不足
参考：「機械学習とパターン認識」(PRML)のアンチョコ by herumi PRML 9章や10章の数式の解説ノート。10章の大変な計算も丁寧に展開してある。 4/10 の C.M.ビショップ「パターン認識と機械学習(PRML)」読書会 #13＠サイボウズ・ラボ に参加しました。各位お疲れ様でした。 今回のテーマは１０章の変分推論(変分ベイズ)。監訳者のしましま先生からも「PRML本で最も恐ろしいところ」とお墨付きをもらっているほどの鬼計算の章。 10.2.1 の混合ガウス分布を変分ベイズで推論する例のところを担当した。 発表資料 10.2-10.2.1 例：変分混合ガウス分布、資料後半 by id:n_shuyo 10.2.2-10.2.5 変分下限*1〜導出された分解 by wk さん 10.3 変分線形回帰 by id:tsubosaka さん 10.4-10.5 指数型分布族〜局
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Stochastic Variational Inference
Prml 10 1