はてなブックマーク - きまぐれ日記: Yahoo!の形態素解析をMeCabで無理やり再現してみる

きまぐれ日記: Yahoo!の形態素解析をMeCabで無理やり再現してみる

タグ : MeCab 形態素解析 yahoo 自然言語処理 api nlp Yahoo! 機械学習 Tips Japanese

コンピュータ・IT 217 users

MeCabで形態素解析器を作りたい場合は以下の二つの言語リソースが必要です。 1. 辞書 (単語と品詞のペアの集合) 2. 入力文と、それに対応する正解出力ペア(正解データ) 現在公開している mecab-ipadic は、ipadicとRWCPコーパスという正解データを使っています。ここから分かるとおり、少なくともMeCabを使う場合は、コスト値を丹念にチューニングするといった職人芸は要りません。形態素解析への入力文とそれに対応する(理想)出力があればコスト値を機械学習的なアプローチで構築すること... > このページを見る

最終更新時間: 2007年06月23日02時26分

▼ブログで紹介する

みんなのブックマーク人気（0）新着

todesking
ふむー 2011/12/23
toton nlp
MeCabの学習機能 2010/03/01
Naruhodius mecab
ふむー 2009/07/19
acotie mecab, perl, yahoo!
学習データの作り方 2008/08/15
webmarksjp 形態素解析, api, yahoo, japanese, tmp, tips, 自然言語処理
mecab 2008/07/14
shidho perl, api, mecab, 形態素解析, 日本語
この辺から勉強してみるか。 2007/11/20
nilab mecab
きまぐれ日記: Yahoo!の形態素解析をMeCabで無理やり再現してみる : MeCabの学習機能 2007/07/30
svankmajer perl, 形態素解析
人口無能用ネタ・api japanese mecab nlp tips yahoo yahoo! 全文検索形態素解析日本語機械学習自然言語自然言語処理言語処理 2007/07/04
uchiuchiyama mecab, nlp, japanese, yahoo, google, api
takuさんの底力．何気に google vs yahoo の様相 2007/06/30
lockcole API, Yahoo!, 形態素解析, 自然言語処理
Yahoo!形態素解析サービスで得られた出力をMeCabの学習データに流し込むことで，「それなりに正しく解析できている」と評する辞書ができあがる。さすがに綺麗な連携。ライセンス問題は微妙。 2007/06/26
yhgstn 言葉, *まとめ, script, linux, perl
Namazu 2007/06/24
ogijun
すばらしー 2007/06/23
d4-1977 形態素解析, MeCab, yahoo
学習機能があるのか 2007/06/23
shimooka mecab, 形態素解析
MeCabの学習機能 2007/06/23
terazzo
SEED辞書と学習データ(正解データ)にYahoo!の解析結果を使用したMeCabパラメータ推定のサンプル。新語を追加する際に学習データをどうやって準備するかという問題のある特殊な解答でもあるか。 2007/06/23
s99937 mecab, yahoo, nlp
なんという。 2007/06/23