2016 - 10 - 17 Macで京大生まれの 形態素処理エンジン JUMAN++ を使用する 形態素処理 OSX list Tweet Share on Tumblr 京大の黒橋・河原研究室が新しく開発した 形態素 処理エンジンがJUMAN++です。RNN(Recurrent Neural Network)を応用した新しい手法で MeCab のような従来型のエンジンで生じる以下の問題の解決を試みたようです。 単語の並びの自然さを表現できない 例: 外国人参政権 →外国・人参・政権 これに対してJUMAN++は単語に対して一般化された意味ベクトルとして扱うことでより自然な単語選択を行うようにしているようです。 公式の資料にイメージ図が載っています。 解析の対象とする単語だけでなく、意味的に類似した言語同士でも自然なつながりになるようなモデルに設計されているということでしょうか メリット
![Macで京大生まれの 形態素処理エンジン JUMAN++ を使用する - 望月いちろうの雑記帳](https://cdn-ak-scissors.b.st-hatena.com/image/square/86415cbc87b36fb9e9f333acf2b94bad4a63b45b/height=288;version=1;width=512/http%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2Ff29e2a552adac0933505e09773e8331ec11cb63a%2Fbackend%3Dimager%3Benlarge%3D0%3Bheight%3D1000%3Bversion%3D1%3Bwidth%3D1200%2Fhttp%253A%252F%252Fcdn.mogile.archive.st-hatena.com%252Fv1%252Fimage%252Fmochizuki_p%252F297790625699148237.jpg)