きまぐれ日記: Yahoo!の形態素解析をMeCabで無理やり再現してみる

MeCabで形態素解析器を作りたい場合は以下の二つの言語リソースが必要です。 1. 辞書 (単語と品詞のペアの集合) 2. 入力文と、それに対応する正解出力ペア(正解データ) 現在公開している mecab-ipadic は、ipadicとRWCPコーパスという正解データを使っています。 ここから分かるとおり、少なくともMeCabを使う場合は、コスト値を丹念にチューニング するといった職人芸は要りません。形態素解析への入力文とそれに対応する(理想)出力 があればコスト値を機械学習的なアプローチで構築することができます。 さらに、正解データを人手で作る必要は必ずしもありません。 すなわち、Yahoo!の形態素解析器の出力結果を「擬似正解」とみなして MeCabの学習プログラムを走らせれば、Yahoo!の出力を高い精度で再現できる MeCab用辞書を作成することが原理的に可能です。 ふだんはあま

[gologo13]

interesting.

[todesking]

ふむー

[toton]

MeCabの学習機能

[restartr]

結局は 1. Yahoo!の形態素解析結果をMeCabフォーマットで出力できるようなラッパースクリプト 2. 活用形を展開するスクリプト 3. Yahoo!の形態素解析器用のMeCab設定ファイル (rewrite.def, feature.def, char.def, unk.def) を作ればよさそうで

[Naruhodius]

ふむー

[acotie]

学習データの作り方

[webmarksjp]

mecab

[shidho]

この辺から勉強してみるか。

[nilab]

きまぐれ日記: Yahoo!の形態素解析をMeCabで無理やり再現してみる : MeCabの学習機能

[svankmajer]

人口無能用ネタ・api japanese mecab nlp tips yahoo yahoo! 全文検索 形態素解析 日本語 機械学習 自然言語 自然言語処理 言語処理

[uchiuchiyama]

takuさんの底力．何気に google vs yahoo の様相

[lockcole]

Yahoo!形態素解析サービスで得られた出力をMeCabの学習データに流し込むことで，「それなりに正しく解析できている」と評する辞書ができあがる。さすがに綺麗な連携。ライセンス問題は微妙。

[rhosoi]

（しかし、ちょっと使ってみるとすぐライセンス問題が謎になりますなWeb2.0ってヤツは）

[ogijun]

すばらしー

[d4-1977]

学習機能があるのか

[shimooka]

MeCabの学習機能

[terazzo]

SEED辞書と学習データ(正解データ)にYahoo!の解析結果を使用したMeCabパラメータ推定のサンプル。新語を追加する際に学習データをどうやって準備するかという問題のある特殊な解答でもあるか。

[s99937]

なんという。

[rytich]

MeCab

[topaz2]

api で辞書作成。ipadic で限界が見えたら試すけど、それまでこの api あるのかが問題な気も。

[sumiisan]

あたまいい

[drk7jp]

これはすごい