良い IME に必要なもの 3つ - アスペ日記

日本語のかな漢字変換に必要なもののうち、主要なものを 3つ挙げてみる（細かく言えば、必要なものはもっとずっといっぱいある）。 1. N-gram 言語モデル 直接つながる前後の文脈によって曖昧性を解消する。これが基本。「おもってはいる」が「思って-入る」ではなく「思って-は-いる」のほうがもっともらしい、といった基本的なところには N-gram 的なものが向いている。表記だけの N-gram でもかなりのところまで行けるというのは N-gram 漢字-かな変換 - アスペ日記と デモで示したとおり。 2. 共起情報 共起というのは、どの単語とどの単語が一緒に出現しやすいかということ。N-gram でカバーしきれない曖昧性解消に使う。例えば、「ねこをかいたい」が「猫を飼いたい」であるという程度は単純な N-gram 変換で解決できる。ある程度の規模のコーパスなら「猫-を-飼（う）」という 3