というわけでゼミ納め。 CiNii 論文 - EMアルゴリズムの新展開 : 変分ベイズ法 自然言語処理のための変分ベイズ法(pdf) 変分ベイズ学習 Variational Bayes Learning(pdf) EMアルゴリズム、GEM(一般化EM)、VB(変分ベイズ)の話をした。 変分ベイズは名前だけ聞くと仰々しいけどやってることは式変形はEMやGEMと同じノリだったので、EMとGEMの式変形を何度か追えば納得できる感じ。 超大雑把な流れとしては 最適化とか使わないで最尤推定したい!→EMで値を更新していこう EMじゃ計算が糞めんどくさい項がある!→を使ってを近似しよう!(GEM) でもこれだけじゃ満足できない!!!! 過学習とか起こりそう… モデル構造とか↑の2つじゃ決められなさそう… と言うことで、パラメータやモデル構造を確率変数として学習するベイズ学習ならいけそう!(変分ベイズ
![ゼミ納め & EM、GEM(一般化EM)、VB(変分ベイズ) - 糞ネット弁慶](https://cdn-ak-scissors.b.st-hatena.com/image/square/30931409287f7432a1c912828ab2e8b4015f0f24/height=288;version=1;width=512/https%3A%2F%2Fimages-fe.ssl-images-amazon.com%2Fimages%2FI%2F41vr-Ss6KPL._SL160_.jpg)