タグ

変分ベイズとLDAに関するni66lingのブックマーク (2)

  • Stochastic Variational Inference

    大規模データセットでの推論に便利なSVIの概要をまとめました. SVIは確率的最適化の枠組みで行う変分ベイズ法です. 随時更新してます. 参考文献 [1]Matthew D Hoffman, David M Blei, Chong Wang, and John Paisley. Stochastic variational inference. The Journal of Machine Learning Research, Vol. 14, No. 1, pp. 1303–1347, 2013. [2] 佐藤一誠. トピックモデルによる統計的意味解析. コロナ社, 2015.Read less

    Stochastic Variational Inference
  • CVB0へようこそ! - Bag of ML Words

    ここではMachine Learning Advent Calendarの一記事として、ベイズ推論の研究者の間で少しだけ認知され始めたCollapsed Variational Bayes(周辺化変分ベイズ、CVB)にもとづく推論のお話をします。 なお、私はあくまでユーザとしてCVBを使っているだけです*1。でも、多分間違ったことは書いていないと思います。もし間違ってたら教えていただけると嬉しいです。 そもそも確率的生成モデルとかが分からない方はPRMLや統数研の公開講座「確率的トピックモデル」の 資料などをご覧ください。 CVBのご利益 まずは、既存のベイズ推論手法に対してのadvantageです。 高精度: 理論的には大域解を得られるはずのGibbs samplerに比しても、だいたい同程度、しばしばより良い解が得られます 収束が早い: 多くの場合、素早く収束します 実装が簡単(比較級

  • 1