EMアルゴリズム - Never Stop Questioning

確率モデルが観測できない変数（潜在変数/隠れ変数）に依存する場合に最尤法を実施するためのアルゴリズム。非常に多くの応用に使え、変分ベイズ法などの基礎を成すのでとっても大事なアルゴリズム。 このアルゴリズムでは、現在のパラメータ（)と観測変数()から得られる情報を使って、潜在変数()の条件付き確率（）を求めるステップ（E-Step）と、観測変数の事後確率の期待値を最大化するフェーズ（M-Step）の二段階の処理を繰り返しながらパラメータを最適化する。 つまり、尤度関数()の最大化を一発で計算したいところなのだが、それは難しいので、今のを使って計算されるを利用して、尤度関数の期待値()の最大化という問題に置き換えている。実際には、最後の式を2つ目のを構成する各変数について偏微分して0になる値を探すなどを行って更新することになる。