Homebrew + virtualenv 環境でMeCabのインストール - さりんじゃーのプログラミング日記
普段良く使うモジュールのMeCabのインストール。 Homebrewもvirutalenvも最近使い始めたばかりなので、自分用メモとして記録。 virtualenv環境の作成 普段はNormalという環境を作って、これを使うことにする。 $ mkvirtualenv Normal $ brew search mecab mecab mecab-ipadic Homebrewにあった。 $ brew install mecab mecab-ipadic $ mecab これでこの時点の最新版である0.994とIPA辞書がインストールできた。動作確認。 $ mecab すもももももももものうち すもも 名詞,一般,*,*,*,*,すもも,スモモ,スモモ も 助詞,係助詞,*,*,*,*,も,モ,モ もも 名詞,一般,*,*,*,*,もも,モモ,モモ も 助詞,係助詞,*,*,*,*,も,モ,モ
crf++, mecab, cabochaをローカルにインストールするときの注意点 - keiskS @technote
export PATH=$PATH:~/local/bin export LD_LIBRARY_PATH=~/local/lib export C_INCLUDE_PATH=~/local/include export CPLUS_INCLUDE_PATH=~/local/include
MeCabの辞書をはてなキーワードで充実させるのにものすごい苦労した話 - 驚異のアニヲタ社会復帰の予備
MeCabの辞書を充実させて、名詞、特に人名が途中でぶった切られる事態を回避したいという話。 MeCabの辞書にはてなキーワードを追加しようを参考に、はてなキーワードの登録単語ライブラリをパクってきてMeCabユーザー辞書に入れる。 データはHatena Developer Centerから入手できる。 やることは上記リンクを参照するが、引っかかったところが デフォルト辞書の選択 sudo vi /usr/local/etc/mecabrc viコマンド r か R で編集モードに入って、編集終わったら ESC して :wq で保存して終了。 辞書の更新 createDict.py というスクリプトを使っているが、これが csv ファイルを作るときに、単語の中にカンマが入っているものがあるようで、これのせいで出来上がった csv ファイルの列数が乱れているので、 context_id.cp
スタート形態素解析
4. 概要 • 今日話すこと • 形態素解析とは • 辞書の構造 • 形態素解析の仕組み • (詳しくは)話さないこと • 機械学習による､コーパスからの辞書の作成 • 未知語処理 • 高速化のためのあれこれ 6. 形態素 名詞,一般,*,*,*,*,形態素,ケイタイソ,ケイタイソ 解析 名詞,サ変接続,*,*,*,*,解析,カイセキ,カイセキ について 助詞,格助詞,連語,*,*,*,について,ニツイテ,ニツイテ は 助詞,係助詞,*,*,*,*,は,ハ,ワ 皆さん 名詞,一般,*,*,*,*,皆さん,ミナサン,ミナサン ご存知 名詞,一般,*,*,*,*,ご存知,ゴゾンジ,ゴゾンジ です 助動詞,*,*,*,特殊・デス,基本形,です,デス,デス ね 助詞,終助詞,*,*,*,*,ね,ネ,ネ EOS こういうやつ｡
MeCab: オリジナル辞書/コーパスからのパラメータ推定
概要 学習用コーパスからパラメータ(コスト値)を推定することができます. MeCab 自身は品詞体系に非依存な設計になっているため, 独自の品詞体系, 辞書, コーパスに基づく解析器を作成することができます. パラメータ推定には Conditinoal Random Fields (CRF) を使っています. 処理の流れ データフロー図は次のようになります. パラメータ推定には以下のサブタスクがあります. Seed辞書の準備 設定ファイルの準備 dicrc char.def unk.def rewrite.def feature.def 学習用コーパスの準備 学習用バイナリ辞書の作成 CRF パラメータの学習 配布用辞書の作成 解析用バイナリ辞書の作成 評価 それぞれ順に説明していきます. Seed辞書の準備 MeCabの辞書は CSV で記述されます. Seed 辞書と配布辞書の
MeCabの辞書をカスタマイズする | mwSoft
概要 MeCab0.994で再学習機能が入ったので、その辺りも含めてMeCabの辞書カスタマイズ方法を洗ってみる。 今回取り扱うのは、CSV形式で新しい単語の情報を記述して辞書を生成（mecab-dict-index）する方法と、文章の解析結果を用意してそれを利用して学習（mecab-cost-train）する方法。 Linuxで実行。Windowsは知らない。 単語追加用のCSVファイルを作成する まずはCSVファイルを手書きして、MeCabの辞書に新しい単語を追加してみる。 やり方は公式サイトに載っている。 今回は例として「アメリカの大統領の名前くらい登録しておきたいよね」ということでバラクとオバマという2つの固有名詞を追加してみる。両単語はIPA辞書では未知語になっている。 $ echo "バラク・オバマ" | mecab -U"%M\t%H\t未知語\n" バラク 名詞,一般,*,
MeCab で UniDic 辞書を使ってみる / 桃缶食べたい。
MeCab で UniDic 辞書を使ってみる MeCab で使える形態素解析用の辞書は、IPA 辞書の他にもいくつか公開されています。そのひとつであるUniDic は、IPA 辞書よりも個々の単語を詳細に分類したもので、分割した形態素が文中で果たす役割をより精密に検出することができます。UniDic はメンテナンスが頻繁に行われているようで、最新版は 1 ヶ月ほど前の 2013/3/14 にリリースされた 2.1.2 になります。ライセンス形態は GPL、LGPL、BSD License のトリプルライセンスとなっていて、その点でも、エンジニアにとっても採用しやすい辞書となっています。 今回はこの UniDic を実際にビルドし、MeCab から使ってみることと、辞書の再学習までを試してみました。 MeCab で UniDic を使うUniDic はバイナリ辞書も配布されていますが、ここ
mecab0.994でmecab-dic-overdriveを使う - handlename's blog
使おうと思ったらすんなり動かなかったので。 環境 Mac OS X 10.8 mecab 0.994 from homebrew Text::MeCab from github https://github.com/lestrrat/Text-MeCab 89f60c38457f100f3c98b24efae75cdcf239c468 mecab-dic-overdrive from github https://github.com/nabokov/mecab-dic-overdrive 1f90c737a8997d5c3cdf5955a2f71705da442c3c 何が問題？ mecab-dic-overdrive/lib/MeCabTrainerの中でMECAB_EOS_NODEのような定数を使っているが、Text::MeCab内ではこれが定義されていない。 なにした？ Text:
はてなキーワードからMecCab辞書を生成する（Ruby版）
文脈IDは-1を指定すれば自動採番してくれるという噂だったのですが、実行したら「自動で探したけど、対応するのが見つからなかったよ」と言われた為（文字コードの問題かな）、自前でシステム辞書ディレクトリ内の「left-id.def」と「right-id.def」を探して、それっぽいIDを拾ってきました（本当にこの方法で良いのか未確認）。 辞書によってIDは変わってきて、IPA辞書の「名詞,一般」は、我が家の環境では1285になっていました。バージョンによっても違う可能性もあるので注意が必要です。 読み・発音については、はてなのファイルの読みは全て平仮名で記述されているので、NAISTの辞書に合わせる為に片仮名に変換して登録します。発音は本来「アマクサシロー」になるべきですが、その辺は変換してると面倒なのでこのままで。 参考URLでは、CSVの末尾に「はてなキーワード」と入れて、はてなの辞書が使
Ubuntu 10.04でMeCabをRubyから使えるようにする - ぬいぐるみライフ？
MeCabのインストール MeCabと辞書のインストールはapt先生にお任せします．辞書はUTF-8のものを使います． $ sudo apt-get install mecab mecab-ipadic-utf8MeCabが正常に動くことを確認します． $ echo "俺、この戦争が終わったら結婚するんだ。" | mecab 俺 名詞,代名詞,一般,*,*,*,俺,オレ,オレ 、 記号,読点,*,*,*,*,、,、,、 この 連体詞,*,*,*,*,*,この,コノ,コノ 戦争 名詞,サ変接続,*,*,*,*,戦争,センソウ,センソー が 助詞,格助詞,一般,*,*,*,が,ガ,ガ 終わっ 動詞,自立,*,*,五段・ラ行,連用タ接続,終わる,オワッ,オワッ たら 助動詞,*,*,*,特殊・タ,仮定形,た,タラ,タラ 結婚 名詞,サ変接続,*,*,*,*,結婚,ケッコン,ケッコン する 動詞,
MeCab：YOSHINO Weblog/吉野ブログ
このブログは吉野孝の雑文が書き散らされています．割とプライベートの話が多いです．内容についての責任はとれません．．． 日本語の形態素解析のために，いつもMeCabを使っている． 実は，参考文献にあげるときにいつも困っていた． というのは，MeCabに関する論文が一体どれなのかが分からない． 仕方ないのでMaCabのホームページURLを載せていたけど， いつも，URLじゃいかんよな〜って思っていました． 開発者は奈良先端大のTaku Kudo（工藤 拓）さんなのだけど， Publication List（http://chasen.org/~taku/）を見ても， どれがMeCabに関係しているのかが分からない （いくつか関係しているのかもしれないけど）． というのは，MeCabという名前が論文のどこにもでてこないため． MeCabを利用している論文は結構あるので， やっぱり，URLを参考文
Mecab-ruby on OSX 10.6 | Carpe Diem
mecab-ruby が、OSX 10.6 でちゃんと動かなかったのでメモ。 MeCab は、Macports 経由でインストールする。 $ sudo port install mecab-ipadic-utf8 ここで、mecab-ruby-0.98 を展開して普通にインストールして、ruby から使うと、次のようなエラーになる。 0.98 RuntimeError: tagger.cpp(150) [load_dictionary_resource(param)] param.cpp(71) [ifs] no such file or directory: ./dicrc これを直すには、mecab-ruby-0.98 の extconf.rb に、次のように変更する。 — extconf.rb-org 2010-11-05 18:49:52.000000000 +090
MacにMeCabをインストール。 - タチコマ好きなエンジニアのブログ
MacBook AirにMeCabをインストールした時のメモ。 とりあえず、MacPortsで検索。 % port search mecab mecab @0.98 (textproc, japanese) MeCab is a yet another part-of-speech and morphological analyzer. mecab-ipadic-utf8 @2.7.0-20070610 (textproc, japanese) Alternate dictionary for MeCab (ipadic/utf8) mecab-jumandic-utf8 @5.1-20070304 (textproc, japanese) Alternate dictionary for MeCab (jumandic/utf8)MeCab本体は最新版ですけど、naist-jdicがない
MeCab: オリジナル辞書/コーパスからのパラメータ推定
$Id: learn.html 161 2008-02-03 09:58:46Z taku-ku $; 概要 学習用コーパスからパラメータ(コスト値)を推定することができます. MeCab 自身は品詞体系に非依存な設計になっているため, 独自の品詞体系, 辞書, コーパスに基づく解析器を作成することができます. パラメータ推定には Conditinoal Random Fields (CRF) を使っています. 処理の流れ データフロー図は次のようになります. パラメータ推定には以下のサブタスクがあります. Seed辞書の準備 設定ファイルの準備 dicrc char.def unk.def rewrite.def feature.def 学習用コーパスの準備 学習用バイナリ辞書の作成 CRF パラメータの学習 配布用辞書の作成 解析用バイナリ辞書の作成 評価 それぞれ順に説明
毎日ぴよぴよ 【卒研】MeCab辞書にはてなキーワードとwikipediaタイトルを登録
覚え書きみたいな感じ。 Twitterから取得したTLデータをMeCabの形態素解析にかけると、大抵の固有名詞は単語がバラバラになってしまいます。 バラバラになってしまった「嵐にしやがれ」 これを、固有名詞と判断させるためにどうしたらいいのか。 はてなキーワードとwikipediaのタイトルをMeCabの辞書にぶっこんであげればよし。 ということでがんばってみた。 【主な参考ページ様】 MeCabの辞書をはてなキーワードとWikipediaで鍛える mecab辞書にwikipediaのタイトル名を追加 【はてなキーワード編】 ここからはてなダイアリーキーワードふりがなリストをダウンロード。(keywordlist_furigana.csv) キーワードIDをついてない方を選んだ。 で、このcsvファイルをMeCabの辞書用のcsvに変換しなければならない。 例えばこんな感じ。 嵐にしやがれ
livedoor Techブログ : wikipediaのデータや顔文字辞書からmecabのユーザ辞書を作成するフレームワーク
突然ですが，mecabの辞書 (mecab-ipadic) をデフォルトのまま使って，mecab意外と使えねぇとか文句言ってる悪い子はおらんかね？ mecab-ipadic は比較的お行儀のよい日本語をベースに作られているので，そのままでは web上の口語文体のテキストはうまく扱えないことがあります。本来は教師データを用意し，学習させるといった手法を使うのが正攻法だと思いますが，とりあえず名詞を充実させるだけでも実用度はだいぶ上がるでしょう。 人間の話す言語には，動詞の語幹や名詞には日々新しく語彙が増えるけど，助詞や活用のルールは簡単には変化しない，という特性があります。特に「いま最もつぶやかれている単語ランキング」といった集計をするような場合は，名詞の範囲の切り出しさえ間違えなければそれなりの結果を出せることも多いのです。 ただ，辞書への単語追加はここにある通り簡単にできるのですが，単語
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Python3でMeCab
Homebrewでmecab-0.98をいれる - Qiita
バージョン違いのmecab-rubyを共存させる with Homebrew - Qiita
GitHub - hotchpotch/mecab-ruby-gem: MeCab ruby binding with gemspec
