LDAにおける変分ベイズ法によるパラメータ推定 (1) 正田 備也 平成 18 年 8 月 18 日 LDA (Latent Dirichlet Allocation) は、ひとつの文書が複数のトピックを含むことを表現できる確率的な文書モ デル��
LDAにおける変分ベイズ法によるパラメータ推定 (1) 正田 備也 平成 18 年 8 月 18 日 LDA (Latent Dirichlet Allocation) は、ひとつの文書が複数のトピックを含むことを表現できる確率的な文書モ デルのひとつである。 変分ベイズ法は、ある程度複雑な確率的文書モデル m において、それによって生成されたと見なされている文書 集合 D = {d1, . . . , } について、事後分布 P(D|m) を求めるのが非常に難しいときに使われる方法である。文書モデ ル m のパラメータ群を θ とし、隠れ変数群（文書モデルの場合、トピックを表す変数群であることが多い）を Z と すると、変分ベイズ法の基本は、次の Jensen の不等式にある。 log P(D|m) = log P(Z, D, θ|m)dθdZ (1) = log Q(Z, θ) P(
LDA の Collapsed Gibbs サンプリングの全条件付分布を導出してみる - 木曜不足
Latent Dirichlet Allocations(LDA) の実装について - 木曜不足 にも出てくるこの式 を導出してみる。 この式は LDA の Collapsed Gibbs sampling で使う全条件付分布(full conditional)。 もし普通のギブスサンプリングだったら、観測されていない全ての確率変数、つまり Z だけではなくθやφについても同様に全条件付分布を構成して、そこからサンプリングを繰り返すことが必要になる。*1 そこで、θとφについては積分消去してしまうことで、Z だけをサンプリングすればよいようにしたのが Collapsed Gibbs sampling。"collapsed" は積分消去して「つぶした」ということと、素の Gibbs sampling から「崩した」ということと、両方かかっているんだろうか？ 導出に必要な道具は次の2つ。 ガン
Latent Dirichlet Allocation in R
Topic models are a new research field within the computer sciences information retrieval and text mining. They are generative probabilistic models of text corpora inferred by machine learning and they can be used for retrieval and text mining tasks. The most prominent topic model is latent Dirichlet allocation (LDA), which was introduced in 2003 by Blei et al. and has since then sparked off the de
PythonでLDAを実装してみる
Latent Dirichlet Allocationはテキストのような不連続データのための生成的確率モデル。入力はドキュメント。出力はドキュメントを特徴づける何か（tf-idfみたいなもん）。 基本的なアイディアは、あるドキュメントは潜在的ないくつかのトピックが混合していて、それぞれのトピックは語の分布で特徴づけられている、ということ。 論文[1]ではαとβというパラメータを用いてドキュメントが以下のように生成されると仮定している。 ドキュメントのトピックの分布θがディリクレ分布Dir(α)に基づいて選ばれる。 ドキュメントの語数N個になるまで以下を繰り返す。 トピックznが多項分布Mult(θ)に基づいて選ばれる。 単語wnが確率p(wn|zn,β)で選ばれる。 ただし、トピックzの数をk個、単語wの種類をV個とすると、パラメータαはk次元のベクトル、βはk x V次元の行列でβij=
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Videolectures
http://yattemiyou.net/docs/lda_gibbs.pdf
http://www.singularpoint.org/blog/r/lda-latent-dirichlet-allocation/
