LDA の Collapsed Variational Bayesian 推論 - 木曜不足
Collapsed Gibbs Sampling (以下 CGS)で LDA の推論を行う話は Latent Dirichlet Allocations(LDA) の実装について - 木曜不足 にて書いたのだけど、今回はそれとは別の Collapsed Variational Bayesian (以下 CVB) で推論を行う話。 まず、LDA の原論文である [Blei+ 2003] では Variational Bayesian (変分ベイズ、以下 VB)で推論を行っていた。 これは LDA の確率変数 z, θ,φ に対し(観測変数 x は除く)、まず真の事後分布 q(z,θ,φ) を考える。 この真の事後分布において z,θ,φ が互いに独立ではないのだが、それを計算のために独立であると仮定してしまう。 この仮定が変分近似で、この仮定の下で q(z,θ,φ)≈Πq(z_ij)Πq(θ
Impala BE Note
Impala BE メモ 本文章は，Impala のメモ の TODO のうち，BackEnd の特にクエリの実行部を読み，文章化したものである． 概要 BackEnd(BE) は単体のデーモンとして動作し，FE 側でパースした結果(Job ID/Plan)に基づいて処理を実行する．FE と BE のやりとりには Thrift が用いられている． |FE| - パース結果(Job ID/実行Planなど) thrift -> |BE| 実行 Tree/Node について 実行プランは，Tree として表現される．Tree の構成要素を Node と呼ぶ．Node は Expr インタフェースを実装する必要がある． Tree は，FE で構築されて，Thrift 経由でシリアライズされ，BE 側の ExecNode::CreateTree() を実行することで再構築できる． Node の種類
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
