MeCabのユーザー辞書にmecab-ipadic-NEologdを手動で追加する - Qiita
最近話題のMeCabの辞書mecab-ipadic-NEologdを使ってみたいと思いユーザー辞書に追加したので、その方法をまとめます。 mecab-ipadic-NEologdの作者の方がSlideShareでインストール方法を紹介していますが、システム辞書に入るのかユーザー辞書に入るのかを見るにはシェルの中身を読むのが面倒だったので手動でユーザー辞書に追加します。 http://www.slideshare.net/overlast/mecab-ipadicneologdtokyordf-46497035 このブログを参考にしました。（このブログではシステム辞書に登録） https://blog.apar.jp/linux/2796/ あとは、MeCab公式のやり方を参考にしました。 http://taku910.github.io/mecab/dic.html 実際の手順 まずはgi
mecab-ipadic-neologdの辞書を、Lucene Kuromojiに適用してみる - CLOVER🍀
注意） このエントリでは、mecab-ipadic-neologdをLucene Kuromojiに適用するにあたり、2つほど問題が発生したのですが、作者の@overlastさんにそのうちのひとつを対応いただきました。 修正版mecab-ipadic-neologdを使ってLucene Kuromojiに適用するエントリは、以下を見るようにしてください。 修正されたmecab-ipadic-neologdの辞書を、Lucene Kuromojiに適用してみる http://d.hatena.ne.jp/Kazuhira/20150316/1426520209 こちらのエントリは、備忘録的に残っているだけです。 以降は、それを踏まえた上で読まれますよう。とりあえずLucene Kuromojiに適用したい場合は、上記のエントリをご覧ください。 先日、ちょっと気になるエントリが世の中に出ていま
新語が追加されたmecab-ipadic-neologd辞書 - 自然言語処理 on Mac
日本語形態素解析エンジンMeCabで標準的に使われているIPA辞書に新語を追加したmecab-ipadic-neologdが公開されました： [O] MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました これまでもWikipediaやはてなキーワードからとりだした単語をMeCabの辞書に登録する取り組みはいろいろとありました： livedoor Techブログ : wikipediaのデータや顔文字辞書からmecabのユーザ辞書を作成するフレームワーク MeCabの辞書にはてなキーワードを追加しよう - 不可視点 最近のJUMANの辞書にもWikipediaやWebからとられた単語が登録されています： JUMAN - KUROHASHI-KAWAHARA LAB mecab-ipadic-neologdは新語データを定期的に更新して改善を続ける予定ということで
Regexp.ja
解析前に行うことが望ましい文字列の正規化処理 辞書データを冗長にして異表記を吸収するのにも限界がある。 辞書データを生成する際には以下で述べる正規化処理を全て適用しているため、 解析対象のテキストに対して以下の正規化処理を適用すると、辞書中の語とマッチしやすくなる。 mecab-ipadic-neologd のエントリを生成する際の正規化処理 以下にmecab-ipadic-neologd のエントリを生成する際に、処理の各所に分散している正規化処理をまとめる。 生成時には色々置換と削除をしているが、最後に反映されているのは以下である。 全角英数字は半角に置換 ０-９=> 0-9 Ａ-Ｚ=> A-Z ａ-ｚ=> a-z 半角カタカナは全角に置換 半角の濁音と半濁音の記号が1文字扱いになってるので気をつけること。 ハイフンマイナスっぽい文字を置換 以下はハイフンマイナスに置換する。 MODI
修正されたmecab-ipadic-neologdの辞書を、Lucene Kuromojiに適用してみる - CLOVER🍀
先日、このようなエントリを書きました。 mecab-ipadic-neologdの辞書を、Lucene Kuromojiに適用してみる http://d.hatena.ne.jp/Kazuhira/20150315/1426391366 mecab-ipadic-neologd自体については、こちら。 MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました http://diary.overlasting.net/2015-03-13-1.html このエントリでは、LuceneのKuromojiにmecab-ipadic-neologdを適用してみたのですが、2つの問題が出ました。 ひとつは、Kuromojiがmecab-ipadic-neologdのシード辞書に含まれる原形が15文字を超える単語を取り込めないこと。もうひとつは、同じくmecab-ipadic
Atilika Kuromojiに対して、mecab-ipadic-NEologdの辞書を適用してビルドするbashスクリプトを書きました - CLOVER🍀
先日、Atilika Kuromojiの0.9.0がリリースされたようです。 kuromoji - japanese morphological analyzer オフィシャルサイトの記述は、0.7.7のままですが… Maven Centralからダウンロードできます。 http://search.maven.org/#search|ga|1|g%3A%22com.atilika.kuromoji%22 はてなで、うまくリンクにならん…。 で、このKuromojiですが、0.7.7の頃はダメだったものの、0.9.0からはmecab-ipadic-NEologdの辞書が適用できるようになったので、mecab-ipadic-NEologdをKuromojiに組み込んでビルドするbashスクリプトを書きました。 以前に作ったLucene Kuromojiにmecab-ipadic-NEologd
kuromoji.jsでmecab-ipadic-NEologdを使う - Qiita
JavaScriptだけで形態素解析ができるkuromoji.jsで、mecab-ipadic-NEologdを使いたいなーと思って、試してみました。 結論 辞書生成はできた 辞書サイズが大きすぎてメモリ馬鹿食いする 読み込みに時間がかかる サーバサイドでの使用ならいいかもしれませんが、クライアントサイドでの利用は難しいかなと思いました。 サーバサイドなら素直にmecab使うほうが楽な気はしますね。 辞書生成方法 追加辞書の用意 ここから追加辞書をダウンロードして解凍します。 ここではmecab-user-dict-seedを追加しようと思います。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
