EM アルゴリズム | パターン認識と機械学習Andrew 先生の説明がとてもわかりやすかったのでメモです。カルバック・ライブラー情報量（KL divergence）を用いる事なく、イェンゼンの不等式のみで自然に展開していました。 凸関数 – convex function f’’(x) > 0、また x がベクトルの場合はヘシアン H >= 0 の時、f(x) は凸関数。f’’(x) > 0 とは x が大きくなるにつれ接線の傾き f’(x) も大きくなるということ。全ての x で、下図の (1) -> (2) -> (3) のような変化が成り立つ f(x) のこと。 イエンセンの不等式 – Jensen’s inequality f(x) が凸関数の時、E[f(x)] >= f(E[x]) が成り立つ。これがイェンゼンの不等式。 図を見れば直感的にわかるのだが、今仮に xは a,b の２点しか取れないとすると、f(E[x])より、
