[B! parser][nlp] makimotoのブックマーク

きまぐれ日記: Yahoo!の形態素解析をMeCabで無理やり再現してみる

MeCabで形態素解析器を作りたい場合は以下の二つの言語リソースが必要です。 1. 辞書 (単語と品詞のペアの集合) 2. 入力文と、それに対応する正解出力ペア(正解データ) 現在公開している mecab-ipadic は、ipadicとRWCPコーパスという正解データを使っています。ここから分かるとおり、少なくともMeCabを使う場合は、コスト値を丹念にチューニングするといった職人芸は要りません。形態素解析への入力文とそれに対応する(理想)出力があればコスト値を機械学習的なアプローチで構築することができます。さらに、正解データを人手で作る必要は必ずしもありません。すなわち、Yahoo!の形態素解析器の出力結果を「擬似正解」とみなして MeCabの学習プログラムを走らせれば、Yahoo!の出力を高い精度で再現できる MeCab用辞書を作成することが原理的に可能です。ふだんはあま

makimoto 2007/06/23

リンク

Yahoo! Japanの日本語形態素解析Webサービス使ってみた - spiritlooseのはてなダイアリー

http://developer.yahoo.co.jp/jlp/ http://developer.yahoo.co.jp/jlp/MAService/V1/parse.html なんかよさげなAPIがリリースされたようで。 Yahoo！の日本語形態素解析エンジンAPIを公開 - ITmedia NEWS http://codezine.jp/a/article/aid/1461.aspx http://japan.internet.com/webtech/20070618/3.html ヤフー、形態素解析のWebサービスを公開 − ＠IT おもしろそうなのでちょっと触ってみた。んで、適当にモジュールをでっち上げてCPANにあげといた。 http://search.cpan.org/dist/WebService-YahooJapan-WebMA/ 使ってみたところ、レスポンスも結構速

makimoto 2007/06/19

リンク

Yahoo!デベロッパーネットワークにテキスト解析APIが登場！

Yahoo!デベロッパーネットワークにテキスト解析APIが登場！ 2007-06-18-1 [WebTool][NLP][MECAPI][Programming] Yahoo!デベロッパーネットワークに「テキスト解析」が登場しました。第一弾は日本語形態素解析 APIです。ヤフーのいろんなところに使われている WebMA という形態素解析エンジンのAPIです。 - Yahoo!デベロッパーネットワーク - テキスト解析 - 日本語形態素解析 http://developer.yahoo.co.jp/jlp/MAService/V1/parse.html MECAPI の仕様に似ていますが、まあそういうものです。 (MECAPI https://maapi.net/) で、先日 MECAPI で作った「文で検索」[2007-04-03-1]の WebMA 版を作ってみました。「文で検索2」