形態素解析「MeCab」と「php_mecab」を使った(複合)名詞の抽出 | colori
PHPでutf-8用の形態素解析を利用するために「MeCab」と「php_mecab」をインストールしてみました。 ついでに、テキスト文から名詞を配列で抽出するサンプルも作ってみましたよ。 MeCabのインストールMeCabを使ってみよう サーバー環境 今回は以下のような環境で構築してみます。 OS: CentOS 5.3 (Final)PHP: 5.1.6MeCab: 0.98 追記：MeCabは2012/2/12以降、sourceforgeからgooglecodeにダウンロード先が変わり、バージョンも変わっています。 詳しくはこちら。 追記：今はGitHubで管理されているようです。 MeCabのダウンロード＆インストール まず、SSHでrootユーザーになり、rootディレクトリに移動 #su - (パスワード） #cd MeCabのソースをダウンロード # wget http://
mecabにwikipediaのタイトルリストを追加する
mecabの辞書にwikipediaのタイトルリストを追加したときの備忘録 ずっと前にmecabを使ってみる。でmecabを動かしてみたんだけど、それから結構放置してしまっていたのでもう一度弄ってみる。 とりあえず、今入れている辞書の語集を増やすために、wikipediaの情報も追加してみた。 1. wikipediaのタイトルリストをダウンロードして解凍 最新のタイトルリストがここから取得できる $ wget http://dumps.wikimedia.org/jawiki/latest/jawiki-latest-all-titles-in-ns0.gz $ gunzip jawiki-latest-all-titles-in-ns0.gz 2. wikipediaのタイトルリストをCSVに変換 ダウンロードした辞書を、mecabに取り組む前にCSV形式に変換。ここはググると色々なや
毎日ぴよぴよ 【卒研】MeCab辞書にはてなキーワードとwikipediaタイトルを登録
覚え書きみたいな感じ。 Twitterから取得したTLデータをMeCabの形態素解析にかけると、大抵の固有名詞は単語がバラバラになってしまいます。 バラバラになってしまった「嵐にしやがれ」 これを、固有名詞と判断させるためにどうしたらいいのか。 はてなキーワードとwikipediaのタイトルをMeCabの辞書にぶっこんであげればよし。 ということでがんばってみた。 【主な参考ページ様】 MeCabの辞書をはてなキーワードとWikipediaで鍛える mecab辞書にwikipediaのタイトル名を追加 【はてなキーワード編】 ここからはてなダイアリーキーワードふりがなリストをダウンロード。(keywordlist_furigana.csv) キーワードIDをついてない方を選んだ。 で、このcsvファイルをMeCabの辞書用のcsvに変換しなければならない。 例えばこんな感じ。 嵐にしやがれ
mecab with Wikipedia辞書 - shtst
mecab with Wikipedia辞書 mecabがさりげなくバージョンアップしていたので再インストールした．． $brew install --with-charset=utf8 mecab mecabを入れたら辞書をダウンロード．こちらから「最新版Linux/Cygwin用パッケージ unidic-1.3.12-pkg.tar.gz (Linux/Cygwin用インストーラ付き)」というのをダウンロード． $tar xvf unidic-1.3.12-pkg.tar.gz $cd unidic-1.3.12-pkg $./configure --prefix=/opt/local/ --with-use-chasen=0 $make $make install 今回は/opt/local/以下にインストールした．次にwikipediaの単語集を取得．ここから「jawiki-lat
PHPでMecab利用 - リハビリ日記
環境情報(2009/01/05追加) CentOS5.2 / PHP 5.2.11 インストールからサンプルプログラム作成までにお世話になったサイト一覧 本家サイト MeCab: Yet Another Part-of-Speech and Morphological Analyzer 参考サイト ウノウラボ PHPとMecabでキーワード自動リンクを実装する MeCab の辞書構造と汎用テキスト変換ツールとしての利用 Mecabのインストール CentOSはyumでインストールできなかったので、ソースからコンパイルを行った。インストール先は/usr/localとし、辞書ファイルはutf8のみとした。 ダウンロード 本体:mecab-0.98.tar.gz 辞書ファイル:ipadic-2.7.0 本体インストール # tar xvfz mecab-0.98.tar.gz # cd meca
IPADIC(IPA辞書)とはなにものか？
※私は言語処理に関する知識は無いので、あくまで「IPADICとは何ものなのか？」という点に絞ってのみ記述しています。まあ、ここまで突っ込んだのは戯れですが、一応の目的として現在から未来にわたって無料で入手できる形態素解析を使うに当たり、「メンテナンスが継続されている辞書」が入手できるかを調べたかったという意図もあります。 日本語を処理する上で形態素解析というのはわりと欠かせないものです。 Webのサービスでよく用いられている形態素解析器にはChaSenとmecabがありますが、これらのエンジンは何らかの辞書を利用して日本語を解析します。 ちなみに形態素解析器と言うのはChaSenの表現を帰りれば「形態素解析器とは、入力文を単語単位に分割し品詞を付与するツールである。」ということです。形態素解析器の開発の歴史はMeCab の開発経緯をご覧ください。 ここでChaSenにもMeCabにも、標準
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PHP で Mecab を使って日本語形態素解析の結果を簡単に取得するまでの設定まとめ
サービス終了のお知らせ