2019年末版 形態素解析器の比較 - Qiita

形態素解析は日本語処理の初歩であり、文を単語に分割したり、品詞や活用形、基本形を分析するために行います。本記事では形態素解析のツールをいくつかの出力例を交えて比較していきます。 （SentencePieceでいいじゃん、という人はお呼びでないですが、そういう方には、Twitterのトレンドが変な分割になってたら嫌では？と申し上げておきたいです） MeCab 言わずと知れた形態素解析器。とりあえずMeCabを使うという人は今なお多いことでしょう。とにかく高速であるということと、システムと辞書が分離されているのが特徴です。またPythonから使うのも簡単になりました（Janomeというものがありましたがmecab-python3の方が高速です）。Javaから使いたい人はKuromojiを使えばmecab(+ipadic)相当の結果が得られるはずです。 辞書はIPA辞書が推奨されていますが、Un

[rna]

「形態素解析業界の有名な難問、「外国人参政権」」

[short13]

SNSとかのテキスト扱うときは辞書にNEologd使わないとまじで全然ダメ。sudachi使ったことないんで試してみたい

[eru01]

Sudachi知らんかった。MeCabはNEologd前提なところある

[enemyoffreedom]

「形態素解析業界の有名な難問、「外国人参政権」を「外国/人参/政権」のように間違えないのはJUMAN++くらいでしょう」

[karpa]

“JUMANでは益岡田窪文法と呼ばれる、とっつきにくい体系を採用しています。”

[misshiki]

MeCab（←速度優先）／Unidic／NEologd／JUMAN／JUMAN++（←精度優先）／Sudachi／SudachiPy（←UD（単語単位の依存構造）解析したいとき）の使い分け指針。

[takehikom]

『形態素解析業界の有名な難問、「外国人参政権」を「外国/人参/政権」のように間違えないのはJUMAN++くらいでしょう』

[tuun]

どんな分割粒度がよいかは応用に大きく依存する。検索や機械翻訳など、人が分割結果を見ない応用では文法的・直感的に正しそうな 分割がいいとは限らない

[otoan52]

やっぱりKNPは無類なんだな。

[stealthinu]

今でもMeCabが速度は最強なんだな。あとNEologdっていう辞書あるのか。

[saruzo69]

“2019年末版 形態素解析器の比較”

[fubar_foo]

d

[sds-page]

とりあえずまだめかぶ使っててもよさげ

[karikari1255]

"企業のバックアップのもと、辞書の継続的なメンテナンスが保証されているのは非常に大きな特徴" ワークスはガチのまじで潰れかけて本業売却したりしてるから、そこは触れたらあかんやつやで…

[yokochie]

MeCab って早かったんだね（10年以上前ずっと使ってた）

[takashi_kun]

日本語、中国語を扱う上では必須なので、解析器や辞書を整備している人には頭が下がります…

[zgmf-x20a]

辛うじて名前だけは全部分かる…

[tohokuaiki]

“JUMANでは益岡田窪文法と呼ばれる” 「益岡と岡田と田窪」なのか「益岡と田窪」なのかが分からないようなややこしい文章の解析かと思ったら違った。

[dekasasaki]

いきなり怒ってて困惑した。でも参考になった。ありがたや。

[t_motooka]

使い分け情報、ありがたい。

[xKxAxKx]

JUMAN++気になる

[alt-native]

JUMAN++ 使ったことないなぁ 一回使ってみたい

[hirose504]

“形態素解析業界の有名な難問、「外国人参政権」を「外国/人参/政権」のように間違えないのはJUMAN++くらい”

[lorenz_sys]

MeCabまだあったのか。この手のものは最近使わなくなったのですっかり忘れていた。

[kaputte]

ありがてえ

[dominion525]

近頃の状況がざっくりわかるので便利ぽい。人参政権！

[lifefucker]

たすかる

[cj3029412]

人参政権！

[nilab]

「SentencePieceでいいじゃん、という人はお呼びでないですが、そういう方には、Twitterのトレンドが変な分割になってたら嫌では？と申し上げておきたいです」

[gayou]

うん。やっぱりmecab使いやすい。”形態素解析業界の有名な難問”あたりは単純に辞書次第ではないでしょうか。