初めての最大エントロピー法 - yasuhisa's blog

なぜ最大エントロピー法が必要か自然言語処理特論の授業で最大エントロピー法が紹介されました。言語モデルで、パープレキティが小さいモデルを作るのが目標なんですが、EMアルゴリズムでは、小さくできるパープレキシティにちょっと限界がありました。まあ、パラメータ数がせいぜい3つとかの最適化問題しか解いてないですからね。実際、簡単に実装もできたし。 ということで、さらに精度をよくするべく取り上げられた枠組みの一つとして最大エントロピー法。(何度も書いてるけど、)言語モデルでいつも問題になるのはデータスパースネス。データがないところをいかに推定するか、というところで色んなモデルで工夫してやってるし、やった(EMアルゴリズムのところは線形補完法で、低次のngramを使ったり)。 一様性の観点から 例えば、aとbという文字があったときにp(a)とp(b)の確率は分かっているんだけど、p(a,b)とかp(a,