MeCabの辞書にはてなキーワードを追加しよう - 不可視点
MeCabは形態素解析のためのソフトウェアです。日本語を分かち書きするために使われるものとしては最も人気の高いものだと思われますが、チャットや掲示板に書き込まれるような崩した日本語や、正しく書かれた日本語でも新語を期待した通りに分かち書きしてくれないことがあります。これはMeCabの内部で使われている辞書が一般的な言葉を情報源としているわけではないことに関係があります。MeCabというか、より一般的な話ですが以下のような認識が一般的かと思われます。 というのも、一番広く使われているであろう自然言語処理技術は形態素解析(単語分かち書き、と言ったほうがいいのかもしれない)であろうが、これは現在99%くらいの精度になっていて、すでに人間がやるより遙かに高精度で行えるのだが、これだけ高い精度が出せるのは新聞記事を相手にしたときだけであって、それは新聞記事をコーパスとして用いる機械学習により形態素解
blog.katsuma.tv
文章中のキーワード抽出を行いたくなっていろいろ調べていて、次の組み合わせで実現することができました。 Mecab Lingua::JA::Summarize Pecl/Perl Mecabは文書の形態素解析に。Lingua::JA::Summarizeはサイボウズラボ奥さんのキーワード抽出CPANモジュール。これをCakePHPに組み込みたかったのでPeclのPerlライブラリ（PHPからPerlのコードをダイレクトに呼べる）。導入も特に難しくないので、その導入メモを残しておきます。 Mecab Fedora系Linuxだとyumで辞書ファイルも一緒にさっくりインストールできます。Perlのモジュールも入れておきます。 sudo yum -y install mecab\* sudo yum -y install perl-mecab\* Lingua::JA::Summarize CPA
Windows上のrubyでMeCabをちょっこっと使ってみたい - Λάδι Βιώσας
ActiveRubyとかからちょろっとMeCabを使ってみたい、、、でもMeCabのruby bindingとか使うのは億劫、って人向けに書いてみました。単にpopenで直接MeCabを呼んでるだけですが、、、 #!/bin/ruby -Ks # -*- coding: euc-jp -*- # # easymecab.rb # class MeCab def initialize(option) @path = "/cygdrive/c/MeCab/bin/mecab.exe" # MeCabへのパス @option = option end def parse_file(s) cmd_string = [@path, @option, s].join(" ") word_list = [] io = IO.popen(cmd_string, "r") until io.eof? wor
大規模テキスト処理を支える形態素解析技術（工藤拓氏・Google） - Cafe Babe
第80回知識ベースシステム研究会を開催したが，二日間で58名の方々に参加して頂き，積極的に議論に加わって頂いた．この場を借りて，参加してくれた方々に感謝したい．大変遅くなった（爆）が，Googleの工藤拓氏による招待講演「大規模テキスト処理を支える形態素解析技術」の概要を，このブログで報告しておきたい．工藤氏の専門分野は統計的自然言語処理と機械学習であるが，日本語形態素解析エンジンMeCabの開発者であり，他にも自然言語処理関連の有益なツールや，Webベースの日本語入力を可能にするAjax IMEのようなユニークなサービスを提供しているなど，時代をリードする研究開発者の一人である．彼の活動に興味があれば，彼のブログ「きまぐれ日記」は必見だろう． なお，当日は弊社側の不手際で，予定していた工藤氏の重要なデモをおこなうことができなかった．弊社はネットワーク会社であるにもかかわらず，ネットワーク
83's : MeCabの辞書作成補助
形態素解析器MeCabの 辞書を自分で作る場合、動詞や形容詞など活用する品詞については 自分で活用を書かなければいけないんですが、 激しく面倒なのでこれを自動化するやつを作ってみた。 （ ・∀・）つ[katsuyou.tar.gz] このプログラムを使うには、別途ローマ字ひらがな変換ライブラリ suikyoと、 茶筌に（多分）付属しているcforms.chaが必要です。 まー基本的にはcforms.chaでなくても、同じフォーマットで、かつ活用形の中に「基本形」が 入っていれば動くはずです。 あとRubyも必須です。 katsuyou.rbは、入力されたMeCabの辞書の中で活用できるものがあるとそれを活用展開します。 だからあらかじめ1つだけ書いておきます。 ちなみにフォーマットはこう。 表層形,コスト,品詞,品詞細分類1,品詞細分類2,品詞細分類3,活用型,活用形,原形,読み,発音 例
「Yahoo!の形態素解析をMeCabで無理やり再現してみる」を試してみて - 傀儡師の館.Python：楽天ブログ
2007.08.20 「Yahoo!の形態素解析をMeCabで無理やり再現してみる」を試してみて カテゴリ：ことばの処理 Yahoo!の形態素解析をMeCabで無理やり再現してみる を読む。 MeCabで形態素解析器を作りたい場合は以下の二つの言語リソースが必要です。 1. 辞書 (単語と品詞のペアの集合) 2. 入力文と、それに対応する正解出力ペア(正解データ) 学習させるときには、辞書と、正解データを用意しなきゃならない。これが面倒だから、なかなか自作の辞書を作る気にならない。Wikipedia のデータをダウンロードすれば、大量のテキスト文章は得られるけれども、正解出力を手作業で作るのは大変だし、元辞書も作らなきゃならないから、不可能に近い。 じゃわ、正解出力をちゃんと手作業で作るのではなくて、Yahoo! API の 日本語形態素解析Webサービス を使って得られた解析結果を擬似的
きまぐれ日記: ルー語変換を MeCab だけで実現
巷で話題のルー語変換．周りにこういうしゃべり方をする人がいるからかもしれませんが， 爆笑しました 中身は，MeCab -> EDICT -> Bilingual Emacspeak だそうです． 単純な単語置換なので，MeCab を汎用テキスト変換ツールとして利用すればまったく同じことが MeCab だけで実現できます． やってることは単純で, MeCab の辞書の品詞フィールドをルー語にした辞書を作るだけです．対象のルー語がない場合は単語そのものを品詞に設定します． 通常は 「入力文字列 -> 品詞列」 の変換が行われます．上記のような辞書を作ると，品詞の部分がすべてルー語に置き換わって 「入力文字列 -> ルー語文字列」の変換が実現されます． しかも単語のつながりやすさや，出現しやすさは上記のような辞書を作っても CSV カラムの 2,3,4 カラム目に残っているので， 原理的には M
ウノウラボ Unoh Labs: mecabのユーザ辞書を追加した時にはまったメモ
こんにちは satoです。mecabのユーザ辞書を追加したのですが，いろいろはまったので誰かがはまった時のためにメモっておきます。 1)品詞IDの取り方 2)ユーザ辞書の追加方法 3)禁止語句とか独自の要素を付けたい csvファイルの最後に追加すればOK 4)context_id.cpp(88) [it != left_.end()] cannot find LEFT-... ってエラーが出る left-id right-id の文字コードが csvファイルの文字コードと違うのが原因 nkf --utf8とかで文字コードをそろえる 5)CHECK_CLOSE_FALSE(sysdic->isCompatible(*d)) sys.dic と ユーザ辞書の文字コードが違うと出るエラー utf8とUTF8は違うと判定されるのでutf-8と書く 6)追加した辞書に品詞IDが付かない or 65
MeCab PHP extension moduleを使ってみた
3年ぐらい前に欲しいなーと思っていたMeCabのPHPモジュールが最近リリースされたようです。DBから取り出したレコードごとに形態素解析したいときなどはPHPから呼び出せると便利。 » Page2 MeCab extension 手元のマシンはmecabが0.90だったのですがconfigure時にmecab_new2のところでエラー。 configure: error: wrong MeCab library version or lib not found.[mecab-users 86] Re: C ライブラリで “Undefined symbol” となる関数がある 既知の問題だったので最新の0.91をコンパイルし直したらインストールできました。 サンプルのコードはソースの中にもありますがよりシンプルな例を以下に。 <?php dl('mecab.so'); $mecab = me
Making The Road Blog - さくらでMeCab PHP extension
さくらでMeCab PHP extensionをインストールしたので，メモ（自分の環境がデフォルトとかなり違うので，再現性があるか分かりませんが） MeCabインストール ダウンロードはこちらから tar zxfv mecab-X.X.tar.gzcd mecab-X.X ./configure --prefix=$HOME/usr/local make make check make install
きまぐれ日記: Yahoo!の形態素解析をMeCabで無理やり再現してみる
MeCabで形態素解析器を作りたい場合は以下の二つの言語リソースが必要です。 1. 辞書 (単語と品詞のペアの集合) 2. 入力文と、それに対応する正解出力ペア(正解データ) 現在公開している mecab-ipadic は、ipadicとRWCPコーパスという正解データを使っています。 ここから分かるとおり、少なくともMeCabを使う場合は、コスト値を丹念にチューニング するといった職人芸は要りません。形態素解析への入力文とそれに対応する(理想)出力 があればコスト値を機械学習的なアプローチで構築することができます。 さらに、正解データを人手で作る必要は必ずしもありません。 すなわち、Yahoo!の形態素解析器の出力結果を「擬似正解」とみなして MeCabの学習プログラムを走らせれば、Yahoo!の出力を高い精度で再現できる MeCab用辞書を作成することが原理的に可能です。 ふだんはあま
PHPで形態素解析 – creamu
MeCab を使って文章の形態素解析をする PHP 用の拡張モジュールです。 MeCab は 京都大学情報学研究科−日本電信電話株式会社コミュニケーション科学基礎研究所共同研究ユニットプロジェクトの一環として開発されたオープンソース形態素解析エンジン。 えらいことですね。 検索エンジンを作る夢に一歩近づきました。 ref. MeCab PHP extension moduleを使ってみた MeCab Extention それにしてもブログ検索エンジンNAMAANの動きがいいですね。 オーバーチュアと提携し、検索連動型広告「スポンサードサーチ(R)」が表示されています。 すごいですね。 スポンサードサーチの表示はブログ検索エンジン初ということです。 技術者2人ということなんで、すこしでも近づきたい。
文章をタグクラウド化
文章をタグクラウド化 アメリカ合衆国の大統領の演説をタグクラウド化した US Presidential Speeches Tag Cloud や日本の首相の演説をタグクラウド化した Japanese Prime Minister Speeches Tag Cloud などを見て、そういう使い方があるんだな、と面白かった。 他にもいろいろな文章をタグクラウド化できたら面白いのではないかと思ったりしたので、JavaScript で作ってみました。単語の分け方は単純に漢字とカタカナと英数字だけなので、かなりいい加減ですが。しかも、すべての単語を表示させているので多すぎる気もしますけど。 追記：単語数が50以上の場合は3回以上出現したものだけ表示させるようにしてみました。 例として入力されている文章は安倍内閣総理大臣所信表明演説です。作成ボタンを押すとタグクラウドが表示されます。 （はじめに） こ
はてなダイアリーをタグクラウド化 - spiritlooseのはてなダイアリー
http://blog.bulknews.net/mt/archives/002078.html に影響されてちょっと作ってみた。 http://hdcloud.spiritloose.net/ こんな感じになる。 http://hdcloud.spiritloose.net/spiritloose/ IE6, Firefox 1.5, Opera 9.02で確認。他は知りません。 (Operaはスライダーが微妙におかしい) 同じくスライダーもつけたけど、機能は単語数を変更するやつにした。 せっかくなので、出来上がったタグクラウドを公開出来るようにした。 はてな認証APIでログインして、管理ツールでエクスポートしたCSVファイルをアップロードすると作れる。 環境は Catalyst + DBIC + mod_perl + MySQL。 そのほかは多分上のやつとほとんど同じ。HTML::Tr
日本の総理大臣の演説をタグクラウド化: blog.bulknews.net
日本の総理大臣の演説をタグクラウド化 US Presidential Speeches Tag Cloud が面白かったので日本の総理大臣版を3分ハッキング。コード自体は15分くらいでかけたんだけどデバッグやらデータの解析やらに時間がかかってトータルでは2時間くらいか。 Japanese Prime Minister Speeches Tag Cloud 首相官邸ホームページ からリンクをたどって HTMLをダウンロード、HTML::TreeBuilder で as_text して Text::MeCab に食わせ、名詞（代名詞などをのぞく）の頻度を YAML データとしてつっこみ、HTML::TagCloud でタグクラウド化しました。スライダーの JS などは元の US Presidential のほとんどパクリです。 IE だと行間がかなりつまってるのは HTML::TagCloud
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Ruby + Rails + Windows + MeCab - トメトメボンド
not found
http://blog.livedoor.jp/junichiro_kasuya/archives/51090321.html
最新のエントリーをMecabで解析する - TechMemo
http://www.onflow.jp/blog/archives/2004/02/bayesian_filter_for_mt_mecab.html