期待値最大化法などのあれこれ - DO++

実装よりの話。 近年、Nonparametric Bayes手法が自然言語処理やら機械学習で流行っているのですが測度論とかからスタートするのは大変で、恩恵にあずかりたいがなかなか大変。 で教師無し学習で頻出する期待値最大化法(EM法[英語 wikipedia])を使っている場合、そのコードをちょっと変えるとDPを近似できますよというのを実際試してみると結構うまくいく （ACLのtutorialとかが詳しい） 期待値最大化法では、Mステップでを各パラメーターを正規化する部分があるが、 zのパラメータ = C_{z} / \sum_{z'} C_{z'} (C_{z}はEステップで数えたzの出現回数）、 ここを zのパラメータ = exp Ψ(C_{z}) / exp Ψ(\sum_{z'} C_{z'}) と置き換えるだけでDirichlet Processを使ったものと同じ効果（大きいクラ

[shibacho]

「しかし、最近の実装では」以下はマジ？ ちょっと確認しよう。

[morningriver]

「最近の実装ではlogで表現せずに、そのまま計算して、アンダー/オーバーフローが起きそうになったらリスケーリングするという手法がちらほら見られるようになってきた」