mecabにwikipediaのタイトルリストを追加する
mecabの辞書にwikipediaのタイトルリストを追加したときの備忘録 ずっと前にmecabを使ってみる。でmecabを動かしてみたんだけど、それから結構放置してしまっていたのでもう一度弄ってみる。 とりあえず、今入れている辞書の語集を増やすために、wikipediaの情報も追加してみた。 1. wikipediaのタイトルリストをダウンロードして解凍 最新のタイトルリストがここから取得できる $ wget http://dumps.wikimedia.org/jawiki/latest/jawiki-latest-all-titles-in-ns0.gz $ gunzip jawiki-latest-all-titles-in-ns0.gz 2. wikipediaのタイトルリストをCSVに変換 ダウンロードした辞書を、mecabに取り組む前にCSV形式に変換。ここはググると色々なや
毎日ぴよぴよ 【卒研】MeCab辞書にはてなキーワードとwikipediaタイトルを登録
覚え書きみたいな感じ。 Twitterから取得したTLデータをMeCabの形態素解析にかけると、大抵の固有名詞は単語がバラバラになってしまいます。 バラバラになってしまった「嵐にしやがれ」 これを、固有名詞と判断させるためにどうしたらいいのか。 はてなキーワードとwikipediaのタイトルをMeCabの辞書にぶっこんであげればよし。 ということでがんばってみた。 【主な参考ページ様】 MeCabの辞書をはてなキーワードとWikipediaで鍛える mecab辞書にwikipediaのタイトル名を追加 【はてなキーワード編】 ここからはてなダイアリーキーワードふりがなリストをダウンロード。(keywordlist_furigana.csv) キーワードIDをついてない方を選んだ。 で、このcsvファイルをMeCabの辞書用のcsvに変換しなければならない。 例えばこんな感じ。 嵐にしやがれ
mecab with Wikipedia辞書 - shtst
mecab with Wikipedia辞書 mecabがさりげなくバージョンアップしていたので再インストールした．． $brew install --with-charset=utf8 mecab mecabを入れたら辞書をダウンロード．こちらから「最新版Linux/Cygwin用パッケージ unidic-1.3.12-pkg.tar.gz (Linux/Cygwin用インストーラ付き)」というのをダウンロード． $tar xvf unidic-1.3.12-pkg.tar.gz $cd unidic-1.3.12-pkg $./configure --prefix=/opt/local/ --with-use-chasen=0 $make $make install 今回は/opt/local/以下にインストールした．次にwikipediaの単語集を取得．ここから「jawiki-lat
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
