最大エントロピーモデルについて（CRF への前振り） - アスペ日記最大エントロピーモデルについての解説。 既存の資料としては、A Simple Introduction to Maximum Entropy Models for Natural Language Processing や「言語処理のための機械学習入門」（通称高村本）が詳しい。 記事中でもその用語を適宜使ったり、内容を引用したりする。 ここでは、できるだけ直感的に理解できるような説明を目指す。 まず、最大エントロピーモデルとは何か。 最大エントロピーモデルは、分類を行う時に使われる。 たとえば、あるレビューに出てきた単語（good とか bad とか）から、そのレビューがポジティブなのかネガティブなのか分類する、というようなもの。 この分類先のことをクラスと呼ぶ。 最大エントロピーモデルは識別モデルの一種。 識別モデルの他には生成モデルというものもある。 これらの違いは、レビューの例で言う
Natural Language Processing: Which one is better suited for comparing short text: KL-Divergence based methods (comparing the distribution...
http://www.phontron.com/slides/nlp-programming-ja-07-topic.pdf
