livedoor Techブログ : wikipediaのデータや顔文字辞書からmecabのユーザ辞書を作成するフレームワーク
突然ですが，mecabの辞書 (mecab-ipadic) をデフォルトのまま使って，mecab意外と使えねぇとか文句言ってる悪い子はおらんかね？ mecab-ipadic は比較的お行儀のよい日本語をベースに作られているので，そのままでは web上の口語文体のテキストはうまく扱えないことがあります。本来は教師データを用意し，学習させるといった手法を使うのが正攻法だと思いますが，とりあえず名詞を充実させるだけでも実用度はだいぶ上がるでしょう。 人間の話す言語には，動詞の語幹や名詞には日々新しく語彙が増えるけど，助詞や活用のルールは簡単には変化しない，という特性があります。特に「いま最もつぶやかれている単語ランキング」といった集計をするような場合は，名詞の範囲の切り出しさえ間違えなければそれなりの結果を出せることも多いのです。 ただ，辞書への単語追加はここにある通り簡単にできるのですが，単語
Solr1.4-devとcmecab-java
cles::blog 平常心是道 blogs: cles::blog NP_cles() « VMWareでディスクを拡張する :: 正規表現で制御文字をフィルタする » 2009/06/29 Solr1.4-devとcmecab-java nlp java solr 110 0へぇ 最近Solrでつくる検索サーバーが個人的にちょっとホットなので、自分でも環境構築をしてみました。 Solr 1.3で日本語の形態素解析に基づくインデックスを作りたい場合senのダウンロードページにあるlucene-ja-2.0test2.zipからlucene-ja.jarとsen.jarを取り出してlibに配置し、schema.xmlに下記を追加するように指示*1している場合が多いようです。 <fieldType name="text_sen" class="solr.TextField"> <ana
MeCabをPerlから使う
MeCabをPerlから使う 2006-02-25-4 [Programming][NLP] NAISTの後輩のスーパーハカー taku-ku 氏作の形態素解析エンジン MeCab。 解析スピードは ChaSen より速いし、なにより今もメンテされてるのが 素晴らしい。20%ルール！？ Perlモジュールもあって、しかも使い勝手も良いので Text::ChaSen [2006-02-24-3]は止めて、こっちを使っていこうかと。 MeCab: Yet Another Part-of-Speech and Morphological Analyzer <http://mecab.sourceforge.jp/> 以下を取ってきてすんなりインストール。何のバッドノウハウもなし。 - mecab-0.90rc9.tar.gz - mecab-ipadic-2.7.0-20051110.tar.g
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Code Archive - Long-term storage for Google Code Project Hosting.
Google Code Archive - Long-term storage for Google Code Project Hosting.
