形態素解析エンジンを使う
土佐弁で「いやー雨がふっちゅう」という言葉がある。これを標準語に翻訳すると「おお、私が気づかないうちに雨が降り始め、そして降り止んだようだ」という感じかな。過去完了形なんて標準語にないので正しく翻訳が難しいのだが、方言にはこういう言葉が結構あるものだ。 さて、そんなわけで(どんなわけだ)形態素解析エンジンの話。 その昔、ケータイ画像投稿掲示板を作った時に検索要素の吸いだしにChasenを使った事がある。が、今はMeCabというのがあるらしいので使ってみた。 MeCabのインストール Debian lennyなので簡単に入る。ただしそのままだとEUC-JPエンジンになってしまう。うちにあわせてUTF-8辞書をインストールした。(わざわざ変換する必要はありません) # aptitude install mecab mecab-jumandic-utf8 あとは、こんな感じで実行できる。 $ e
MeCab : ユーザー辞書 作成 / -d で使用する辞書の設定が必要 (Debian) - 原宿工業大学
harajuku-tech 教授、生徒その他大募集中。 - Python / Django - Debian - AWS - Javascript / jQuery
Debianにapt-getでMecab環境を作成し、Text::MeCabで操作する | fujishinko 雑記帳
ちょっとした事情で、日本語の分かち書きをperlで実行する必要が出てきました。 PerlからMecabを操作し、分かち書きを実行してみます。 ■Mecabのインストール debian で plagger http://d.hatena.ne.jp/kumattau/20091011/1255285509 こちらを参考にさせていただきました。 まず、sources.listにサイトを追加 # vi /etc/apt/sources.list deb http://ftp.jp.debian.org/debian/ lenny main deb-src http://ftp.jp.debian.org/debian/ lenny main deb http://security.debian.org/ lenny/updates main deb-src http://security.deb
MeCab - kanetaiの二次記憶装置
MeCab (和布蕪) オープンソースの形態素解析エンジン。条件付き確率場(CRF: Conditional Random Fields)でパラメータ推定されており、比較的高速な形態素解析が可能。MeCab導入の際、参考にしたページのリンクを貼っておく。 MeCab: Yet Another Part-of-Speech and Morphological Analyzer インストール (Windows) http://sourceforge.net/projects/mecab/files/からmecab本体をダウンロードする。Windowsなら自己解凍インストーラを実行するだけ。Windows版にはIPA辞書が含まれている。Windows 7なら、コントロールパネルで「環境変数」で検索すると、[システムの環境変数の編集]という項目が出てくるので、[システムの環境変数の編集]->[環境
MeCabにユーザ辞書を追加する。 - タチコマ好きなエンジニアのブログ
MeCabを使うと名詞をキーワードとして抜き出すことができますが、デフォルトでは長いキーワードは名詞ごとに分割されてしまいます。 % mecab 攻殻機動隊 攻 名詞,固有名詞,人名,名,*,*,攻,オサム,オサム,, 殻 名詞,接尾,一般,*,*,*,殻,ガラ,ガラ,, 機動 名詞,一般,*,*,*,*,機動,キドウ,キドー,, 隊 名詞,接尾,一般,*,*,*,隊,タイ,タイ,, EOSMeCabの辞書に単語を追加することによって、長いキーワードも1つの名詞として抜き出すことができます。 ということで、今回ははてなキーワードとWikipediaにある単語を辞書に追加してみました。 0. 辞書にキーワードを追加する方法 MeCabへの単語の追加方法には、システム辞書に追加する方法とユーザ辞書に追加する方法の2種類があります。 システム辞書に追加する場合、解析速度は落ちませんが、システム辞
MeCab: Yet Another Part-of-Speech and Morphological Analyzer
MeCab に至るまでの形態素解析器開発の歴史等はこちらをご覧ください メーリングリスト 一般ユーザ向けメーリングリスト 開発者向けメーリングリスト 新着情報 2012-01-27 MeCab 0.993 MeCab::Tagger::formatNode()が正しく動いていなかった問題の修正 スタックの消費を抑えるため、ほとんどのローカル変数(配列)をヒープ上に退避 2012-01-14 MeCab 0.992 ソースコード中のTypoの修正 2012-01-14 MeCab 0.991 空文字列もしくは空白文字列を解析した時に解析エラーとなる問題を修正 ユーザ辞書の作成に失敗する場合がある問題を修正 2011-12-24 MeCab 0.99 MeCab::Model, MeCab::Lattice クラスを追加 マルチスレッド環境でのユーザビリティの向上。複数スレッドが同一
fukushimuのメモ帳 [mecab] mecab辞書にwikipediaのタイトルリストを追加 [wikipedia][はてなキーワード]
mecabにwikipediaのタイトルの単語を追加します。 ググると、既に様々な人がされているので、参考にさせて頂きました。また、本家のサイトで詳しく説明されています。 csvファイルの作成にperlを使いました。 以下が作業の流れです。 １）wikipediaのデータをダウンロード ２）ダウンロードしたデータからユーザ辞書のCSVファイルを作成 ３）CSVファイルを辞書ファイル（.dic）へ変換 wikipediaのタイトルを辞書に追加すると $ mecab 千と千尋の神隠し 千 名詞,数,*,*,*,*,千,セン,セン と 助詞,格助詞,引用,*,*,*,と,ト,ト 千尋 名詞,一般,*,*,*,*,千尋,チヒロ,チヒロ の 助詞,連体化,*,*,*,*,の,ノ,ノ 神隠し 名詞,一般,*,*,*,*,神隠し,カミガクシ,カミガクシ EOS これが $
mecabのユーザ辞書でwikipediaとhatenaキーワードを利用する - てんぷろぐ
（インストールの仕方などはほかの人がいっぱい説明してくれているので割愛） どうやら標準の辞書だけだと限界があるようので、以下の記事などを参考に 「wikipediaとhatenaキーワードをユーザ辞書として利用する」 ということをやってみました。 http://d.hatena.ne.jp/code46/20090531/p1 http://www.mwsoft.jp/programming/munou/mecab_hatena.html http://deepneko.dyndns.org/kokotech/2009/06/mecabwikipedia.html 作ったのは以下の2つのスクリプト。 webからデータを取ってきて、csv作成コマンド、辞書作成コマンドを呼び出すshell (convWebWordsToDic.sh) #!/bin/sh CSV=../data/words.c
形態素解析と検索APIとTF-IDFでキーワード抽出
形態素解析と検索APIとTF-IDFでキーワード抽出 2005-10-12-1 [Programming][Algorithm] 形態素解析器と Yahoo! Web 検索 API と TF-IDF を使ってキーワード抽 出するという先日の検索会議でのデモ、KEYAPI[2005-09-30-3]。 教科書に載っているような基本中の基本ですが、あらためてエッセンスを 簡単な例で解説したいと思います。 目的：キーワード抽出対象テキストから、そのテキストを代表する キーワードを抽出します。TF-IDF という指標を用います。（この値が大 きいほどその単語が代表キーワードっぽいということでよろしく。） TF-IDF を計算するためには、 (1) キーワード抽出対象テキスト中の代表キーワード候補出現数 (TF)、 (2) 全てのドキュメント数 (N)、 (3) 代表キーワード候補が含まれるドキュメ
MeCabをPerlから使う
MeCabをPerlから使う 2006-02-25-4 [Programming][NLP] NAISTの後輩のスーパーハカー taku-ku 氏作の形態素解析エンジン MeCab。 解析スピードは ChaSen より速いし、なにより今もメンテされてるのが 素晴らしい。20%ルール！？ Perlモジュールもあって、しかも使い勝手も良いので Text::ChaSen [2006-02-24-3]は止めて、こっちを使っていこうかと。 MeCab: Yet Another Part-of-Speech and Morphological Analyzer <http://mecab.sourceforge.jp/> 以下を取ってきてすんなりインストール。何のバッドノウハウもなし。 - mecab-0.90rc9.tar.gz - mecab-ipadic-2.7.0-20051110.tar.g
blog.katsuma.tv
文章中のキーワード抽出を行いたくなっていろいろ調べていて、次の組み合わせで実現することができました。 Mecab Lingua::JA::Summarize Pecl/Perl Mecabは文書の形態素解析に。Lingua::JA::Summarizeはサイボウズラボ奥さんのキーワード抽出CPANモジュール。これをCakePHPに組み込みたかったのでPeclのPerlライブラリ（PHPからPerlのコードをダイレクトに呼べる）。導入も特に難しくないので、その導入メモを残しておきます。 Mecab Fedora系Linuxだとyumで辞書ファイルも一緒にさっくりインストールできます。Perlのモジュールも入れておきます。 sudo yum -y install mecab\* sudo yum -y install perl-mecab\* Lingua::JA::Summarize CPA
MeCabの辞書にはてなキーワードを追加しよう - 不可視点
MeCabは形態素解析のためのソフトウェアです。日本語を分かち書きするために使われるものとしては最も人気の高いものだと思われますが、チャットや掲示板に書き込まれるような崩した日本語や、正しく書かれた日本語でも新語を期待した通りに分かち書きしてくれないことがあります。これはMeCabの内部で使われている辞書が一般的な言葉を情報源としているわけではないことに関係があります。MeCabというか、より一般的な話ですが以下のような認識が一般的かと思われます。 というのも、一番広く使われているであろう自然言語処理技術は形態素解析(単語分かち書き、と言ったほうがいいのかもしれない)であろうが、これは現在99%くらいの精度になっていて、すでに人間がやるより遙かに高精度で行えるのだが、これだけ高い精度が出せるのは新聞記事を相手にしたときだけであって、それは新聞記事をコーパスとして用いる機械学習により形態素解
さぶちゃんねるブログ
"ENV" => { "SCRIPT_NAME" => "**********", "REQUEST_METHOD" => "POST", "HTTP_ACCEPT" => "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8", "SCRIPT_FILENAME" => "****************************************", "HTTP_ORIGIN" => "http://**********", "HTTP_FORWARDED" => "for=\"[****:****::****::****::****::****::****::****]\"", # クライアントのIPv6アドレス（のように見える） "SERVER_SOFTWARE" => "Apac
NAL研卒業研究ノートnote_show
今週やってくることの一つとして、学習データを作成して実際にSVMで学習させてみる、というのがある。 そのためのソフトウェアとしてMeCabを利用する。 また、TermExtract という単語（名詞）に対する重み付けを行うためのPerlモジュールを利用する。 MeCabは形態素解析を行うソフトウェア。 TermExtractはMeCabやChaSenなどの処理結果から語句の重要度（TF・IDFなど）を計算する。 まずはMeCabのインストール ソースの入手先：http://mecab.sourceforge.net/src % ./configure --with-charset=utf8 % make % su # make install MeCab用の辞書も同様の手順でインストール 今回はIPA辞書を使うことにする ソースの入手先：http://mecab.sourceforge.
技林ブログ: MeCabのPerlインターフェースText::MeCabをインストール
This domain may be for sale!
形態素解析 Mecab
MeCabのインストールを行いました。MeCabは、形態素解析システムの一つでメジャーなChaSen やKaKaSiよりも3〜4高速と言われています。 （１）まずは必要なファイルをゲットします。 （辞書）ipadic-2.5.1.tar.gz （本体）mecab-0.77.tar.gz （perlモジュール）mecab-perl-0.77.tar.gz （２）ファイルを全て同一ディレクトリへFTPしてから、下記コマンド実行。 tar xvfz mecab-0.77.tar.gz cd mecab-0.77 cd dic mv ../../ipadic-2.5.1.tar.gz ./ tar xvfz ipadic-2.5.1.tar.gz cd .. ./configure --prefix=/usr/local/bin/mecab # インスコ先を/usr/local/bin以外にする場
さくらレンタルサーバへのMeCabインストール - jitsu102's blog
FreeBSDなさくらレンタルサーバへのMeCabインストールメモ。 UTF-8な環境です。 $HOME/usr以下にインストールしました。 1. MeCabのインストール %gzip -dc mecab-0.97.tar.gz | tar xvf - %cd mecab-0.97 %./configure --prefix=$HOME/usr --exec-prefix=$HOME/usr --enable-utf8-only %make %make check ================== All 3 tests passed ================== %make install .././install-sh: Permission denied *** Error code 126install-shの実行でエラーになっています。 パーミッションが644になって
さくらインターネットにMecabのインストール - @chisei のはてなブログ
以下メモ cd $HOME/local/src wget http://nchc.dl.sourceforge.net/sourceforge/mecab/mecab-0.97.tar.gz tar xvfz mecab-0.97.tar.gz cd mecab-0.97 ./configure --prefix=$HOME/local --exec-prefix=$HOME/local --enable-utf8-only make make check chmod 777 * make install 辞書のインストール tar xvfz mecab-ipadic-2.7.0-20070801.tar.gz cd mecab-ipadic-2.7.0-20070801 ./configure --prefix=$HOME/local --exec-prefix=$HOME/local
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
きまぐれ日記: MeCab 0.90 だけをつかって Auto Link
サービス終了のお知らせ