はてなブックマーク - きまぐれ日記: IMEにおける「文節」とは何ぞや

(閉じる)

はてなブックマーク > コンピュータ・IT > きまぐれ日記: IMEにおける「文節」とは何ぞや

きまぐれ日記: IMEにおける「文節」とは何ぞや

タグ : nlp IME 技術自然言語処理形態素解析 Tips natural-language-processing *文学確率統計言語処理

コンピュータ・IT 24 users

とあるIME 開発者と仮名漢字変換(IME)における「文節」についてディスカッションする機会がありました。今まであまり真剣に考えたことなかったのですが、この「IME文節」、いろんな意味で興味深いということを改めて認識しました。学校文法や自然言語処理におけるいわゆる「文節」とは統語的な性質からほぼ一意に決定できる単位です。簡単には自立語連続＋付属語と言えるでしょう。たとえば、「東京特許許可局で工藤は講演をした。」は東京特許許可局で｜工藤は｜講演した。の3文節になります。小学校のときに「... > このページを見る

最終更新時間: 2007年07月29日18時05分

▼ブログで紹介する

みんなのブックマーク人気（0）新着

facet NLP, IME, *
たしかに。何ぞや。 2008/02/08
yowa 言語処理, InputMethod
> 工学的には、IMEの変換候補の最大表示数を n とするならば、ある文節の変換候補の平均分割数（perplexity) が n を超えない程度の長さが最適な文節長といっていいと思います。 2007/07/30
kat0usi NLP
工学的には、IMEの変換候補の最大表示数を n とするならば、ある文節の変換候補の平均分割数（perplexity) が n を超えない程度の長さが最適な文節長 2007/07/29