so_ra_toのブックマーク - はてなブックマーク

Taku Kudo

Profile 名前工藤拓 (くどうたく) 職業研究者写真お台場にてルスツにて暇つぶしウクレレ, スノーボード, ジャグリング, ダーツ Research Topics 統計的自然言語処理形態素解析テキストチャンキング統計的統語解析統計的係り受け解析機械学習 Support Vector Machines Boosting Maximal Margine Classifiers データマイニング半構造化データの高速マイニングテキストマイニング評判分析 Software MeCab (次世代形態素解析エンジン) CaboCha (係り受け解析器) CRF++ (汎用 Tagger,Chunker based on CRF) YamCha (汎用 Tagger,Chunker based on SVM) TinySVM (SVM 学習パッケージ) Tin

so_ra_to 2007/09/19

nlp

リンク

きまぐれ日記: Yahoo!の形態素解析をMeCabで無理やり再現してみる

MeCabで形態素解析器を作りたい場合は以下の二つの言語リソースが必要です。 1. 辞書 (単語と品詞のペアの集合) 2. 入力文と、それに対応する正解出力ペア(正解データ) 現在公開している mecab-ipadic は、ipadicとRWCPコーパスという正解データを使っています。ここから分かるとおり、少なくともMeCabを使う場合は、コスト値を丹念にチューニングするといった職人芸は要りません。形態素解析への入力文とそれに対応する(理想)出力があればコスト値を機械学習的なアプローチで構築することができます。さらに、正解データを人手で作る必要は必ずしもありません。すなわち、Yahoo!の形態素解析器の出力結果を「擬似正解」とみなして MeCabの学習プログラムを走らせれば、Yahoo!の出力を高い精度で再現できる MeCab用辞書を作成することが原理的に可能です。ふだんはあま