Python による日本語自然言語処理
はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明 訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日本語を対象とする場合、いくつか気をつけなければいけない点があります。日本語を扱う場合にも
CP932 → UNICODE → CP932 - ganaware’s blog
はじめに 文字列を CP932 から UNICODE へ、UNICODE から CP932 へ変換する必要がしばしば生じますが、その変換テーブルは各々の言語やライブラリでかなり異なっています。 そこで、実際にどの程度異なっているのかをまず調査してみることにしました。 調査結果: http://dl.dropbox.com/u/1340991/cp932_roundtrip/cp932_roundtrip.html 表を作る為のソースなどまとめ: http://dl.dropbox.com/u/1340991/cp932_roundtrip/cp932_roundtrip.tgz CP932 から UNICODE 最も問題なのはパッチを当てていない libiconv で、以下の6文字の変換が一般的ではありません。(パッチ: http://www2d.biglobe.ne.jp/~msyk/s
きまぐれ日記: Yahoo!の形態素解析をMeCabで無理やり再現してみる
MeCabで形態素解析器を作りたい場合は以下の二つの言語リソースが必要です。 1. 辞書 (単語と品詞のペアの集合) 2. 入力文と、それに対応する正解出力ペア(正解データ) 現在公開している mecab-ipadic は、ipadicとRWCPコーパスという正解データを使っています。 ここから分かるとおり、少なくともMeCabを使う場合は、コスト値を丹念にチューニング するといった職人芸は要りません。形態素解析への入力文とそれに対応する(理想)出力 があればコスト値を機械学習的なアプローチで構築することができます。 さらに、正解データを人手で作る必要は必ずしもありません。 すなわち、Yahoo!の形態素解析器の出力結果を「擬似正解」とみなして MeCabの学習プログラムを走らせれば、Yahoo!の出力を高い精度で再現できる MeCab用辞書を作成することが原理的に可能です。 ふだんはあま
単語親密度データベース｜NTTコミュニケーション科学基礎研究所｜NTT R&D Website
単語親密度とは語のなじみ深さを被験者実験により評定したものです。単語親密度は、１から７の間の数値で表されており、大きな数値になるほどなじみ深い語であることを示しています。 NTTでは1995年から単語親密度の調査をはじめ、約8万語の調査結果をまとめたものが1999年にNTTデータベースシリーズ「日本語の語彙特性」第１巻として三省堂から刊行されました。 また、2002年には、第1巻に含まれなかった約3万語の追加調査を実施し、同シリーズの第9巻として刊行されました（いずれも絶版。以下「平成版」と呼びます）。 これらは広く利用されてきましたが、初期の調査から時間が経ち、単語親密度の経年変化の可能性があること、 これまでのデータベースに含まれない語が多く出てきていることなどから、この度、第1巻、第9巻に含まれるすべての語の再調査と、新しい語の追加調査を、 合わせて16万語以上について行い、「令和版
mysql:12372
From: "Shuichi Tamagawa" <"Shuichi Tamagawa" <tamagawa@xxxxxxxxxx>> Date: Mon, 7 Nov 2005 18:16:22 +0900 Subject: [mysql 12372] MySQL 日本語問題吐き出し緊急オフ会 - まとめ 玉川です。 11/4（金）の日本語問題オフ会にて議論が交わされた結果、 以下の点を優先度の高い課題として改善を要求することになりました。 a) 文字コードの自動変換に伴う文字化けへの対応 4.1以降クライアント/サーバー間で文字コードの自動変換が行われる ようになったことに伴い、文字化けが頻繁に発生している。 *--skip-character-set-client-handshakeオプションだけでは不十分 *libmysqlにmy.cnfファイル、又は環境変数に設定されたオプション
MySQL dumpファイルの互換性について。 phpMyAdminを使い、MySQL 3.23で出力したmysql.dumpをMySQL 5.1で読み込もうとしたのですが、以下のようなエラーがでてう…
MySQL dumpファイルの互換性について。 phpMyAdminを使い、MySQL 3.23で出力したmysql.dumpをMySQL 5.1で読み込もうとしたのですが、以下のようなエラーがでてうまくいきません。 #1064 - You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '--------------------------------------------------------- -- Server version 3.23' at line 1 両バージョンには互換性がないのでしょうか？ うまく読み込む方法、もしくは互換性がないならdumpファイルの変換方
MySQL日本語の旅 | kahua-web
Chat (Lingr.com) Informaiton コンセプト 注意事項 About Us メーリングリスト コメントの入力方法 RSSの配信 Daily 今日の一行(2008-10-10) Column MySQL日本語の旅(5/1) 一風変ったHaskellλ門(6/13) SICP Answer Book (5/31) 問題3.26追加 Zope Solution Zope3 幕の内 Zopeとは なぜZopeなのか Extra JavaCube 電気の使えるカフェ情報(1/8) アーカイブ Project Looking Glass XPで楽しい人生を OSS案内所 書籍の紹介 技術者のブックマーク 読書会、勉強会 Site Info Recent Changes アクセス統計情報 関連リンク 株式会社タイムインターメディアでは、 MySQL関連の人材募集を行っています。(2
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ヤフー、「キーフレーズ抽出Web API」を公開
ヤフー、「日本語係り受け解析Webサービス」のAPIを公開