[B! mecab] makoto0631のブックマーク

MeCabの辞書にはてなキーワードを追加しよう - 不可視点

MeCabは形態素解析のためのソフトウェアです。日本語を分かち書きするために使われるものとしては最も人気の高いものだと思われますが、チャットや掲示板に書き込まれるような崩した日本語や、正しく書かれた日本語でも新語を期待した通りに分かち書きしてくれないことがあります。これはMeCabの内部で使われている辞書が一般的な言葉を情報源としているわけではないことに関係があります。MeCabというか、より一般的な話ですが以下のような認識が一般的かと思われます。というのも、一番広く使われているであろう自然言語処理技術は形態素解析(単語分かち書き、と言ったほうがいいのかもしれない)であろうが、これは現在99%くらいの精度になっていて、すでに人間がやるより遙かに高精度で行えるのだが、これだけ高い精度が出せるのは新聞記事を相手にしたときだけであって、それは新聞記事をコーパスとして用いる機械学習により形態素解

makoto0631 2009/06/02

リンク

cmecab -- Mecab-Pyhton高速バインディング

cmecab -- Mecab-Python高速バインディング初出: 2007/7/14 Status: alpha MecabのPythonバインディングの改良高速版です。 SWIGを使わず、Mecabの最低限の機能だけをPython-C APIで実装しました。 mecab-pythonバインディングの以下のメソッドを実装しています。 createTagger Tagger.parseToNode Nodeからのデータ取得（surface, feature, posid, char_type, statのみ) →もう少しくだけた紹介はこちら。更新情報 →最新情報はこちらでどうぞ [2007/7/16] 多少性能改善。バージョン番号をつけました。0.1 [2007/7/15] 公開。ベンチマーク結果 1.5kb程度の同一の短いテキストを10000回形態素解析した結果を取得す

makoto0631 2009/05/03

mecab
python

リンク

Macに形態素解析ツールMeCabのインストール (Idea Clip)

Mac(10.4 Tiger)に形態素解析ツールMeCabをインストールする最新バージョン0.97だとエラー吐くようなので0.96でインストールすんなり入る $ cd mecab-0.96 $ ./configure $ make $ make check $ sudo make install 続いてMeCab 用の辞書（IPA辞書）のインストール文字コードをUTF8に指定 $ cd mecab-ipadic-2.7.0-20070801 $ ./configure --with-charset=utf8 $ make $ sudo make install ここまでで形態素解析ができる仮名とカタカナと英語が混じった文章を形態素解析してみる $ mecab 私はNewYorkに住む青山テルマです。私名詞,代名詞,一般,*,*,*,私,ワタシ,ワタシは助詞,係助詞,*,*,