Online VB inference for HDP (Wang+ 2011) を実装してみたけど - 木曜不足

[Wang+ AISTATS 2011] Online Variational Inference for the Hierarchical Dirichlet. Process HDP-LDA を Online な VB で解くという論文。 Teh さんらの VB 推論の論文も読んだんだけど、実にアクロバティックな分解が出てきて、いやこれはどうなんだろう……という気分になってしまい、実装してみる気にはならなかった。 一方、Wang さんらのこれはとても素直な式展開で、そんな簡単でいいんだーという感じ。自力で全部の式導出してみたけど、引っかかるところも特になし。 とはいえやっぱり VB なので、きつい独立の仮定がどれくらい精度に影響があるのか気になるところ。 アルゴリズムはとても簡単なので、これは試してみるっきゃあないでしょう、と実装してみた。 論文の pseudo code では u,

[rishida]

Online Variational Inference for the Hierarchical Dirichlet. Process HDP-LDA を Online な VB で解くという論文。 Teh さんらの VB 推論の論文も読んだんだけど、実にアクロバティックな分解が出てきて、いやこれはどうなんだろう……という気分