好きな品詞の組み合わせのフレーズを抜き出すPythonパッケージ「negima」を作った - ぴよぴよ.py
日本語の自然言語処理が絡んだ作業をする際に、 名詞だけ抜き出したい 名詞だけ抜き出したいが、接頭詞の「未」「非」とかもくっつけて抜き出したい 形容詞を抜き出したいが、否定の「ない」もくっつけて抜き出したい みたいに形態素解析をしたあとに形態素同士をつなげてフレーズの抽出をしたいシチュエーションがよくあると思う。 そういった特定の品詞の組み合わせをルールを定義することで、フレーズを抜き出せるPythonパッケージ「negima」を作った。 概要 例えば複合名詞を抽出したい場合、このようなルールを定義する。 id min max pos0 pos1 pos2 pos3 pos4 pos5 nouns 0 2 接頭詞 1 4 名詞 一般|サ変接続|数 0 2 名詞 接尾 このルールをnoun.csvとしてファイルに定義したとすると、 0個以上2個以下の接頭詞ではじまり、 1個以上4個以下の名詞(
形態素解析エンジン MeCab 0.98pre3 野良ビルド - 銀月の符号
MeCab 0.98pre3 の Python バインディングを Windows XP Pro, MinGW, Python 2.5.4 and Python 2.6.2 という環境でコンパイルしてみた。晒してみる。 方法は昨年11月の『形態素解析エンジン MeCab 0.97 とその Python バインディングを MinGW でビルドする - 銀月の符号』とほぼ変わらず。違いは C:\python26\include, C:\Python26\libs を環境変数 C_INCLUDE_PATH, LIBRARY_PATH に入れていないことくらい。 distutils(つまり setup.py) を用いてビルドする際には不要ということがわかったので。 出来上がったもの mecab-python の Windows 用バイナリ、ダウンロード libmecab-1.dll MinGW で作
MeCab の形態素解析誤りを修正する生起コストの求め方
「かつおたたき」、「りんごジュース」、「ロース肉薄切り」を MeCab + IPA 辞書で形態素解析すると以下のようになります。 % mecab かつおたたき かつ 接続詞,*,*,*,*,*,かつ,カツ,カツ お 接頭詞,名詞接続,*,*,*,*,お,オ,オ たたき 名詞,一般,*,*,*,*,たたき,タタキ,タタキ EOS りんごジュース りん 副詞,助詞類接続,*,*,*,*,りん,リン,リン ご 接頭詞,名詞接続,*,*,*,*,ご,ゴ,ゴ ジュース 名詞,一般,*,*,*,*,ジュース,ジュース,ジュース EOS ロース肉薄切り ロース 名詞,一般,*,*,*,*,ロース,ロース,ロース 肉薄 名詞,サ変接続,*,*,*,*,肉薄,ニクハク,ニクハク 切り 名詞,接尾,一般,*,*,*,切り,ギリ,ギリ EOS 日本人の感覚とはだいぶずれた結果になってしまっていますね！人間であれ
日本語形態素解析の裏側を覗く！MeCab はどのように形態素解析しているか - クックパッド開発者ブログ
こんにちは、買物情報事業部の荒引 (@a_bicky) です。 前回、「検索結果の疑問を解消するための検索の基礎」で単語単位でインデキシングする前提で説明しましたが、今回は文などを単語単位で分割するために使う技術である形態素解析について触れます。 形態素解析器には色々ありますが、中でもメジャーと思われる MeCab の仕組みについて説明します。 MeCab の解析精度を上げるために辞書に単語を追加したことのある方もいると思いますが、動作原理を理解することで単語を追加する際に適切な生起コストを設定できるようになったり、学習の際に適切なパラメータを設定できるようになったりするはずです。 なお、MeCab は汎用テキスト変換ツールとしても使用できます が、簡単のため MeCab + IPA 辞書のデフォルト設定前提で説明します。 アジェンダ 形態素解析とは MeCab における最適な解析結果の推
MeCab 用医療用語辞書と分野適応の話 - 武蔵野日記
少し前のことであるがComeJisyoというものが公開されている。概要によると 医療従事者用の文書を形態素解析器Mecabを利用して分かち書きするための用語辞書を作成し公開します． とのことで、3万語以上医療用語が入っている辞書がオープンになったのは朗報。ちなみに ComeJisyo (ComeDic) という名前は、医師以外の医療従事者のことを指す「コメディカル」という言葉の先頭から取ったのかなと思われる。 形態素解析についてそんな詳しいわけでもないのだが、形態素解析というのは自然言語処理のあらゆる処理の基礎になるもので、大きく分けると単語分かち書き(日本語や中国語のように単語境界が明示されない言語では大問題)と品詞タグづけの処理に分けることができる。 分野が異なると専門用語がそもそも辞書に登録されていないので、たとえば企業でコールセンターの応答のデータに対して形態素解析をかけても、未知
PythonでのMeCabを速くするtips - Qiita
ちゃお... Python Advent Calendar 2015 18日目の記事です... Pythonといったらデータサイエンスに強いし、データサイエンスといったら形態素解析が必要になることがあるし、形態素解析といったらMeCabだし――ということで、今回はPythonでのMeCabの処理を少しでも速くする豆知識を共有したいと思います！ parseToNodeを捨てよ parseを使おう MeCabの解析結果を得るにはparseとparseToNodeの2つのメソッドがあります。 わたしはもっぱらparseToNode使ってたのですが、なんか遅いなーって思って、本当に遅いのか確かめるために処理時間測ってみました。現実的な設定でやった方が実用的だと思ったので、今回は夢野久作のドグラマグラから名詞を抽出することにします。 コード import MeCab tagger = MeCab.T
mecab-neologd 前処理用 Python モジュール neologdn 公開しました - Debug me
PyConJP 2015に参加して意識が高まったのでブログをはじめます。 舞い降り……† はじめに 私のいる世界では計算機で日本語を処理するときは大体MeCabを使います。 でも、IPA辞書やunidicなどでは語彙に物足りなさを感じます (IPA辞書には「スマホ」が収録されてなかったり) かといって、私は自前でMeCab用の辞書を作っているのですが、 それを仕事で使おうとすると「ちゃんとメンテできるの？」とか渋い顔をされそうなので、 仕事では使いません。 そこで、頻繁に語彙がアップデートされる mecab-ipadic-neologd が重宝してます。overlastさんに圧倒的感謝 🙏 github.com ですが、ネットに転がってるようなテキストでは形態素解析の結果が思ったようにいかないことが多いです。 ちゃんと校正されてないので様々な表記揺れがあったりして汚いためです。 そこでM
[O] MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました
MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました Tweet [NLP] 日本語の文書を機械的に処理しようと思った時に、ほとんどの人が MeCabとIPADIC(IPA辞書)の両方、または、どちらかを使うことになります。 IPADICはとてもよく出来ていますが、更新されないまま年月が過ぎているので、例えば2015年3月上旬に急に流行ったような言葉は収録していません。そのため、今日生まれたような新しい文書(例、Apple Watch発売)を解析する時に困ります。困らない人もいますけど、僕は困ります。 その課題に対処するために、日本全国津々浦々、自然言語処理に関わる全ての人は独自にMeCabの新語辞書を作って対応しているわけです。その際に元データとして使われることが多いのは Wikipedia 日本語版やはてなキーワードなどです。 困ったことに、新語辞書を生成
PythonでMeCabの制約付き解析を使う - Qiita
MeCabには制約付き解析という機能がありますが、これについて説明している記事がほとんどなかったので手探りで試してみました。 MeCab 0.996 Python 3.4 mecab-python3 0.7 制約付き解析とは 入力文の一部の形態素情報が既知である、あるいは境界がわかっているときに、 それを満たすように解析する機能です。 たとえば、「にわにはにわにわとりがいる。」という文に対して、「はにわ」の部分が名詞であるとか、「にわとり」の部分が一つの形態素であるというように指定した上で解析することができます。このとき、制約に反する4文字目の「は」が単独で形態素となったり、「にわとり」が「にわ」と「とり」に分割されるような解析候補は排除されます。 制約付き解析 (部分解析)より 形態素境界の制約をつける 文の一部の形態素境界がわかってるときに、その部分を一つの形態素として扱って解析するよ
MeCabのコマンドライン引数一覧とその実行例 | mwSoft
-r --rcfile 使用するリソースファイルを指定する リソースファイルとは、辞書ディレクトリに入っている「dicrc」ファイルを指します。 試しにシステム辞書の「dicrc」ファイルをコピーして、「dicrc2」というファイルを作り、その中の「; simple」の「EOS」を「eos」に書き換えます。するとこんな風になります。 // リソースを指定せずに実行 $ echo テスト | mecab -O simple テスト 名詞-サ変接続 EOS // リソースを改変したdic2に指定して実行 $ echo テスト | mecab -r dicrc2 -O simple -d /usr/local/lib/mecab/dic/naist-jdic テスト 名詞-サ変接続 eos 我が家の環境では、システム辞書ディレクトリをカレントディレクトリとした状態にするか、「-d」でシステム辞書
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
形態素解析器性能評価システムMevAL
「UniDic」国語研短単位自動解析用辞書
https://devhub.io/repos/yk-twww-MeCab-N-Best
MeCab で N-Best 解の累積コストを出力する - あらびき日記