Python による日本語自然言語処理
はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明 訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日本語を対象とする場合、いくつか気をつけなければいけない点があります。日本語を扱う場合にも
きまぐれ日記: Yahoo!の形態素解析をMeCabで無理やり再現してみる
MeCabで形態素解析器を作りたい場合は以下の二つの言語リソースが必要です。 1. 辞書 (単語と品詞のペアの集合) 2. 入力文と、それに対応する正解出力ペア(正解データ) 現在公開している mecab-ipadic は、ipadicとRWCPコーパスという正解データを使っています。 ここから分かるとおり、少なくともMeCabを使う場合は、コスト値を丹念にチューニング するといった職人芸は要りません。形態素解析への入力文とそれに対応する(理想)出力 があればコスト値を機械学習的なアプローチで構築することができます。 さらに、正解データを人手で作る必要は必ずしもありません。 すなわち、Yahoo!の形態素解析器の出力結果を「擬似正解」とみなして MeCabの学習プログラムを走らせれば、Yahoo!の出力を高い精度で再現できる MeCab用辞書を作成することが原理的に可能です。 ふだんはあま
単語親密度データベース｜NTTコミュニケーション科学基礎研究所｜NTT R&D Website
単語親密度とは語のなじみ深さを被験者実験により評定したものです。単語親密度は、１から７の間の数値で表されており、大きな数値になるほどなじみ深い語であることを示しています。 NTTでは1995年から単語親密度の調査をはじめ、約8万語の調査結果をまとめたものが1999年にNTTデータベースシリーズ「日本語の語彙特性」第１巻として三省堂から刊行されました。 また、2002年には、第1巻に含まれなかった約3万語の追加調査を実施し、同シリーズの第9巻として刊行されました（いずれも絶版。以下「平成版」と呼びます）。 これらは広く利用されてきましたが、初期の調査から時間が経ち、単語親密度の経年変化の可能性があること、 これまでのデータベースに含まれない語が多く出てきていることなどから、この度、第1巻、第9巻に含まれるすべての語の再調査と、新しい語の追加調査を、 合わせて16万語以上について行い、「令和版
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ヤフー、「キーフレーズ抽出Web API」を公開
