Expectation-Maximization as lower bound maximization
Thomas Minka (1998; revised 11/29/99) The Expectation-Maximization algorithm given by Dempster et al (1977) has enjoyed considerable popularity for solving MAP estimation problems. This note derives EM from the lower bounding viewpoint (Luttrell, 1994), which better illustrates the convergence properties of the algorithm and its variants. The algorithm is illustrated with two examples: pooling dat
EMアルゴリズム - Study Memo
今一度pLSAを再度勉強し直し。 手始めにまずはEMアルゴリズムから。 参考にしたのは Rで学ぶクラスタ解析 赤穂: EM アルゴリズム --クラスタリングへの適用と最近の発展--, 日本ファジィ学会誌, Vol.12, No.5, 2000。 EMアルゴリズムは以下の2つのステップから構成される。 Eステップ：尤度の期待値Qを計算。 Mステップ：Eステップで計算した尤度の期待値を最大化する混合係数を計算。さらに、尤度の期待値を最大化するように他のパラメータを推定。 確率モデルがM個あり、j番目のモデルの元でデータxが発生する確率をpj(x)とすると、データxが発生する確率p(x)は、それらの確率の線形和で と表現できる。 ただし、αj ≧ 0かつΣjM αj = 1とする。 いま、あるデータxがモデルjで発生する確率を考えると、その確率は、 と記述できる。 なお、この確率分布は、分布のパ
社団法人 電子情報通信学会 THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS 信学技報 TECHNICAL REPORT OF IEICE. [チュートリアル講演] EM アルゴリズムと統計物理 井上 純一† † 北海道大学
社団法人 電子情報通信学会 THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS 信学技報 TECHNICAL REPORT OF IEICE. [チュートリアル講演] EM アルゴリズムと統計物理 井上 純一† † 北海道大学 大学院情報科学研究科 〒 060–0814 北海道札幌市北区北 14 条西 9 丁目 E-mail: †j inoue@complex.eng.hokudai.ac.jp あらまし マルコフ確率場やベイジアンネットを用いて確率的推定/推論を行う際, 用いる確率モデルにはシステムをマクロ に特徴つける変数– ハイパパラメータ– の他, 直接的には観測されない欠損データが含まれるケースが多い. この場合, それ ら欠損データに関して周辺化された対数尤度 –周辺尤度 – を最
the Voynich Manchuscript a mystery
The Natural Language Group at the USC Information Sciences Institute conducts research in natural language processing and computational linguistics, developing new linguistic and mathematical techniques to make better technology. We have a wide range of ongoing projects, including those related to statistical machine translation, question answering, summarization, ontologies, information retrieval
オンラインEMアルゴリズム - DO++
EMアルゴリズム（Expectation Maximizationアルゴリズム、期待値最大化法、以下EMと呼ぶ）は、データに観測できない隠れ変数（潜在変数）がある場合のパラメータ推定を行う時に有用な手法である。 EMは何それという人のために簡単な説明を下の方に書いたので読んでみてください。 EMのきちんとした説明なら持橋さんによる解説「自然言語処理のための変分ベイズ法」や「計算統計 I―確率計算の新しい手法 統計科学のフロンティア 11」が丁寧でわかりやすい。 EMは教師無学習では中心的な手法であり、何か観測できない変数を含めた確率モデルを作ってその確率モデルの尤度を最大化するという枠組みで、観測できなかった変数はなんだったのかを推定する場合に用いられる。 例えば自然言語処理に限っていえば文書や単語クラスタリングから、文法推定、形態素解析、機械翻訳における単語アライメントなどで使われる。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://people.eecs.berkeley.edu/~denero/research/papers/naacl10_berg-Kirkpatrick_painless.pdf
About Me
Wakahara
http://pages.cs.wisc.edu/~jerryzhu/cs769/EM.pdf