きまぐれ日記: Yahoo!の形態素解析をMeCabで無理やり再現してみる
MeCabで形態素解析器を作りたい場合は以下の二つの言語リソースが必要です。 1. 辞書 (単語と品詞のペアの集合) 2. 入力文と、それに対応する正解出力ペア(正解データ) 現在公開している mecab-ipadic は、ipadicとRWCPコーパスという正解データを使っています。 ここから分かるとおり、少なくともMeCabを使う場合は、コスト値を丹念にチューニング するといった職人芸は要りません。形態素解析への入力文とそれに対応する(理想)出力 があればコスト値を機械学習的なアプローチで構築することができます。 さらに、正解データを人手で作る必要は必ずしもありません。 すなわち、Yahoo!の形態素解析器の出力結果を「擬似正解」とみなして MeCabの学習プログラムを走らせれば、Yahoo!の出力を高い精度で再現できる MeCab用辞書を作成することが原理的に可能です。 ふだんはあま
「Yahoo! Hacker」を探せ、ヤフーがAPIコンテスト － ＠IT
2007/02/26 ヤフーは2月23日、Yahoo! JAPANが提供するWeb APIを使ったWebコンテンツ、サービスを募集する開発者向けのコンテスト「Yahoo! JAPAN WEB APIコンテスト」を開始した。優秀作品はYahoo! JAPANの本サービスへの採用も検討するという。 ヤフーはYahoo!検索、カテゴリ、オークション、ミュージック、地図情報の各APIを公開している。またコンテストの開始に合わせて、Yahoo!地図情報のローカルサーチWebサービスを公開した。 コンテストはWeb APIをマッシュアップして作成する「検索・地図情報・その他API部門」と、Yahoo!ウィジェットエンジンを使ってミニアプリケーションを開発する「ウィジェット部門」の2つがある。募集期間は4月30日まで。サイボウズ・ラボの秋元裕樹氏、ネタフル運営のコグレ マサト氏、ウノウ 代表取締役の山田
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
