自然言語処理を始める準備 - Qiita

この記事では，自然言語処理をする時にはこういう作業をするんだよ，というアウトラインを紹介します． 形態素解析 形態素解析というのは，文章を単語に切り刻む作業です．品詞を調べたり，活用形を原形に戻します．例えば「身の丈に合った受験」というフレーズは，こう解析されます． 身の丈 名詞,一般,,,,,身の丈,ミノタケ,ミノタケ に 助詞,格助詞,一般,,,,に,ニ,ニ 合っ 動詞,自立,,,五段・ワ行促音便,連用タ接続,合う,アッ,アッ た 助動詞,,,,特殊・タ,基本形,た,タ,タ 受験 名詞,サ変接続,,,,,受験,ジュケン,ジュケン 形態素解析にはMeCabを使っています． https://taku910.github.io/mecab/ これは広く使われていますが，「管理栄養士試験」を「管理/栄養/士/試験」にしてしまうなど必要以上に単語を分割するため，新語や専門用語には弱い面もあります