MeCabで区切った単語を再びつなげる - yasuhisa's blog

先週は形態素解析なアプローチじゃなくて、特長語抽出のような感じで専門用語が取り出せないかなーとやっていた。 www.yasuhisay.info が、YamChaの使い方がよく分からない&使うツールの中身が今の自分にとってはブラックボックスすぎる、ということで形態素解析ベースでどうにかしようということにしました。 今だと「蛋白質」が「蛋白」と「質」に分解されてしまうような感じで、(MeCab|Chasen)によく形態素解析だと細かく区切られすぎています(一般語に対してはいいのかもだけど、専門的なのだと組み合わせたやつで単語になっていて欲しかったりする)。が、細かい分にはつなげなおしてあげればいいじゃん、ということで繋げることにしました。専門用語だと名詞+名詞な繋がりが多いかなーということで、名詞のsequenceを抽出するようにしました。「私」とかMeCabにそのままあるようなやつはfil