EMアルゴリズム - Study Memo今一度pLSAを再度勉強し直し。 手始めにまずはEMアルゴリズムから。 参考にしたのは Rで学ぶクラスタ解析 赤穂: EM アルゴリズム --クラスタリングへの適用と最近の発展--, 日本ファジィ学会誌, Vol.12, No.5, 2000。 EMアルゴリズムは以下の2つのステップから構成される。 Eステップ：尤度の期待値Qを計算。 Mステップ：Eステップで計算した尤度の期待値を最大化する混合係数を計算。さらに、尤度の期待値を最大化するように他のパラメータを推定。 確率モデルがM個あり、j番目のモデルの元でデータxが発生する確率をpj(x)とすると、データxが発生する確率p(x)は、それらの確率の線形和で と表現できる。 ただし、αj ≧ 0かつΣjM αj = 1とする。 いま、あるデータxがモデルjで発生する確率を考えると、その確率は、 と記述できる。 なお、この確率分布は、分布のパ
