Collapsed Gibbs Sampling (以下 CGS)で LDA の推論を行う話は Latent Dirichlet Allocations(LDA) の実装について - 木曜不足 にて書いたのだけど、今回はそれとは別の Collapsed Variational Bayesian (以下 CVB) で推論を行う話。 まず、LDA の原論文である [Blei+ 2003] では Variational Bayesian (変分ベイズ、以下 VB)で推論を行っていた。 これは LDA の確率変数 z, θ,φ に対し(観測変数 x は除く)、まず真の事後分布 q(z,θ,φ) を考える。 この真の事後分布において z,θ,φ が互いに独立ではないのだが、それを計算のために独立であると仮定してしまう。 この仮定が変分近似で、この仮定の下で q(z,θ,φ)≈Πq(z_ij)Πq(θ
![LDA の Collapsed Variational Bayesian 推論 - 木曜不足](https://cdn-ak-scissors.b.st-hatena.com/image/square/3d3b8cea567d5ded826c85494bb088342fe19580/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fn%2Fn_shuyo%2F20110215%2F20110215122436.png)