英語前処理サーベイ - 旧みずぎわブログ

2013-10-15 英語前処理サーベイ 技術系 英語 ■トークン化 形態素に分割するみたいなこと 入門 自然言語処理によると空白で区切る程度までしかしてない 複合語などには未対応 nltkのトークナイザを使うのが安牌か regexp_tokenize(text, pattern) >>> from nltk.tokenize import word_tokenize, wordpunct_tokenize, sent_tokenize >>> s = '''Good muffins cost $3.88\nin New York. Please buy me ... two of them.\n\nThanks.''' >>> wordpunct_tokenize(s) ['Good', 'muffins', 'cost', '$', '3', '.', '88', 'in', 'Ne