きまぐれ日記: IMEにおける「文節」とは何ぞや

とあるIME開発者と仮名漢字変換(IME)における「文節」についてディスカッションする 機会がありました。今まであまり真剣に考えたことなかったのですが、 この「IME文節」、いろんな意味で興味深いということを改めて認識しました。 学校文法や自然言語処理におけるいわゆる「文節」とは 統語的な性質からほぼ一意に決定できる単位です。 簡単には 自立語連続＋付属語 と言えるでしょう。 たとえば、 「東京特許許可局で工藤は講演をした。」 は 東京特許許可局で｜工藤は｜講演した。 の3文節になります。小学校のときに「～ね」を挿入できる単位として 習ったかと思います。 しかし、IMEで上記の文を変換してみると。 東京|特許|許可局で|工藤は｜講演した|。 と分割されます。(WinXP) あきらかにNLP業界の文節と単位が異なるようです。 このIMEが使っている分割の単位を「IME文節」と呼ぶことにしまし

[gologo13]

最適な文節単位とは．

[facet]

たしかに。何ぞや。

[yowa]

> 工学的には、IMEの変換候補の最大表示数を n とするならば、ある文節の変換候補の平均分割数（perplexity) が n を超えない程度の長さが最適な文節長といっていいと思います。

[kat0usi]

工学的には、IMEの変換候補の最大表示数を n とするならば、ある文節の変換候補の平均分割数（perplexity) が n を超えない程度の長さが最適な文節長