[B! 形態素解析] end0tknrのブックマーク

テキスト解析 - Yahoo!デベロッパーネットワーク

LINEヤフーが提供するテキスト解析WebAPI 日本語形態素解析日本語文を形態素に分割し、品詞、読みがなの付与、統計情報を取得できる機能を提供します。かな漢字変換ローマ字、ひらがなの文を文節に区切り、変換候補を提示します。短い文字列から変換候補を推測するモードも提供します。VJEと同じ方式のかな漢字変換です。ルビ振り漢字かな交じり文に、ひらがなとローマ字のふりがな（ルビ）を付けます。校正支援日本語文の校正作業を支援します。文字の入力ミスや言葉の誤用がないか、わかりにくい表記や不適切な表現が使われていないかなどをチェックします。日本語係り受け解析日本語文の係り受け関係を解析する機能を提供します。キーフレーズ抽出日本語文を解析し、特徴的な表現（キーフレーズ）を抽出します。自然言語理解日本語文を解析し、情報の抽出を行う機能を提供します。固有表現抽出日本語文を解析し

end0tknr 2011/01/25

　[自然言語処理]

形態素解析

リンク

きまぐれ日記: Yahoo!の形態素解析をMeCabで無理やり再現してみる

MeCabで形態素解析器を作りたい場合は以下の二つの言語リソースが必要です。 1. 辞書 (単語と品詞のペアの集合) 2. 入力文と、それに対応する正解出力ペア(正解データ) 現在公開している mecab-ipadic は、ipadicとRWCPコーパスという正解データを使っています。ここから分かるとおり、少なくともMeCabを使う場合は、コスト値を丹念にチューニングするといった職人芸は要りません。形態素解析への入力文とそれに対応する(理想)出力があればコスト値を機械学習的なアプローチで構築することができます。さらに、正解データを人手で作る必要は必ずしもありません。すなわち、Yahoo!の形態素解析器の出力結果を「擬似正解」とみなして MeCabの学習プログラムを走らせれば、Yahoo!の出力を高い精度で再現できる MeCab用辞書を作成することが原理的に可能です。ふだんはあま