A Diversity-Promoting Objective Function for Neural Conversation Models [Li+, NAACL'15] - ブログではないです概要 A Persona-Based Neural Conversation Model [Li+, ACL'16] の一つ前の論文。 実験していてもそうだったが、seq2seqベースの対話はやはり典型的な応答 （e,g, I don't know. ）が頻出する事が問題になるらしく、 それをどうにかしようという話。 手法 基本的な考え方としては を最大化することで生成される文がいわゆる典型的な表現であった場合にペナルティを加える、というもの。 簡単な式変形から明らかだが、結局 、発話と応答の相互情報量を最大化していることに等しい。 これに加えて典型的な表現をペナライズする程度の調整が効くように (1) としたものと、ベイズの定理から式変形して (2) としたものの2種類を検討している．前者をMMI-antiLM, 後者を MMI-bidi と呼んでいる。 また、訓練時にλを最適化するのが
