LDAにおける変分ベイズ法によるパラメータ推定 (1) 正田 備也 平成 18 年 8 月 18 日 LDA (Latent Dirichlet Allocation) は、ひとつの文書が複数のトピックを含むことを表現できる確率的な文書モ デル��
LDAにおける変分ベイズ法によるパラメータ推定 (1) 正田 備也 平成 18 年 8 月 18 日 LDA (Latent Dirichlet Allocation) は、ひとつの文書が複数のトピックを含むことを表現できる確率的な文書モ デルのひとつである。 変分ベイズ法は、ある程度複雑な確率的文書モデル m において、それによって生成されたと見なされている文書 集合 D = {d1, . . . , } について、事後分布 P(D|m) を求めるのが非常に難しいときに使われる方法である。文書モデ ル m のパラメータ群を θ とし、隠れ変数群（文書モデルの場合、トピックを表す変数群であることが多い）を Z と すると、変分ベイズ法の基本は、次の Jensen の不等式にある。 log P(D|m) = log P(Z, D, θ|m)dθdZ (1) = log Q(Z, θ) P(
LDA の Collapsed Gibbs サンプリングの全条件付分布を導出してみる - 木曜不足
Latent Dirichlet Allocations(LDA) の実装について - 木曜不足 にも出てくるこの式 を導出してみる。 この式は LDA の Collapsed Gibbs sampling で使う全条件付分布(full conditional)。 もし普通のギブスサンプリングだったら、観測されていない全ての確率変数、つまり Z だけではなくθやφについても同様に全条件付分布を構成して、そこからサンプリングを繰り返すことが必要になる。*1 そこで、θとφについては積分消去してしまうことで、Z だけをサンプリングすればよいようにしたのが Collapsed Gibbs sampling。"collapsed" は積分消去して「つぶした」ということと、素の Gibbs sampling から「崩した」ということと、両方かかっているんだろうか？ 導出に必要な道具は次の2つ。 ガン
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://yattemiyou.net/docs/lda_gibbs.pdf
http://www.singularpoint.org/blog/r/lda-latent-dirichlet-allocation/
