日本語形態素解析の裏側を覗く！MeCab はどのように形態素解析しているか - クックパッド開発者ブログ
こんにちは、買物情報事業部の荒引 (@a_bicky) です。 前回、「検索結果の疑問を解消するための検索の基礎」で単語単位でインデキシングする前提で説明しましたが、今回は文などを単語単位で分割するために使う技術である形態素解析について触れます。 形態素解析器には色々ありますが、中でもメジャーと思われる MeCab の仕組みについて説明します。 MeCab の解析精度を上げるために辞書に単語を追加したことのある方もいると思いますが、動作原理を理解することで単語を追加する際に適切な生起コストを設定できるようになったり、学習の際に適切なパラメータを設定できるようになったりするはずです。 なお、MeCab は汎用テキスト変換ツールとしても使用できます が、簡単のため MeCab + IPA 辞書のデフォルト設定前提で説明します。 アジェンダ 形態素解析とは MeCab における最適な解析結果の推
[O] MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました
MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました Tweet [NLP] 日本語の文書を機械的に処理しようと思った時に、ほとんどの人が MeCabとIPADIC(IPA辞書)の両方、または、どちらかを使うことになります。 IPADICはとてもよく出来ていますが、更新されないまま年月が過ぎているので、例えば2015年3月上旬に急に流行ったような言葉は収録していません。そのため、今日生まれたような新しい文書(例、Apple Watch発売)を解析する時に困ります。困らない人もいますけど、僕は困ります。 その課題に対処するために、日本全国津々浦々、自然言語処理に関わる全ての人は独自にMeCabの新語辞書を作って対応しているわけです。その際に元データとして使われることが多いのは Wikipedia 日本語版やはてなキーワードなどです。 困ったことに、新語辞書を生成
MySQL :: MySQL 8.4 Reference Manual :: 14.9.9 MeCab Full-Text Parser Plugin
Functions That Test Spatial Relations Between Geometry Objects
顔文字をMeCabで形態素解析する - Haroperi.log
顔文字を形態素解析？ テキストコミュニケーションにおける「身振り手振り言語」とも言われる顔文字は、目・鼻・口などの顔のパーツから構成されています。ところで顔文字をパーツごとに分割し、パーツの種類（品詞）を推定するというタスクは、形態素解析と同じ問題に帰着します。そこで今回私は、形態素解析器として使われているMeCabを用いて、顔文字を形態素解析してみました。 デモ まずはデモを試してみてください。 http://www.haroperi.info/cgi-bin/emoticon.cgi 実行結果 未知語処理が苦手なようで、なかなか正確な形態素解析は行えませんが、教師データを解析してみると、以下のように綺麗に分割・品詞付与されます。 詳細 詳細はhttp://www.haroperi.info/emoticon/mecab.htmlに書きました。これ以上はどこにも書いていません。 今後、M
Mac Lion と CentOS と Ubuntu に MeCab をインストールする方法
日本語形態素解析をすることになりました。Yahoo の日本語形態素解析を昔使っていましたが以下の制限があるため、今回私が作りたい Web サイトの目的を達成することができませんでした。 24時間以内で50000件のリクエストが上限 1リクエストの最大サイズを100KBに制限 分割する手もありますが、分割するためのプログラムを書くより MeCab をサーバーにインストールする方が目的を達成するのに速いのと、リクエスト制限というものが無いので1日にたくさんのタスクを処理できると思ったので MeCab を使うことにしました。 ChaSen と MeCab で少し悩みましたが。技術メモ的なモノと気になるモノさんのサイトによると。 形態素解析で日本語をごにょごにょしたいので、mecabを入れてみる。従来はchasenとかを使っていたんだけど、こちらの方がメモリ効率がいいという話を聞いたので試してみる
TinySegmenter: Javascriptだけで実装されたコンパクトな分かち書きソフトウェア
TinySegmenterはJavascriptだけ書かれた極めてコンパクトな日本語分かち書きソフトウェアです。 わずか25kバイトのソースコードで、日本語の新聞記事であれば文字単位で95%程度の精度で分かち書きが行えます。 Yahoo!の形態素解析のように サーバーサイドで解析するのではなく、全てクライアントサイドで解析を行うため、セキュリティの 観点から見ても安全です。分かち書きの単位はMeCab + ipadicと互換性があります。 デモ 日本語の文章を入力し、解析ボタンをクリックしてください。 ダウンロード TinySegmenterはフリーソフトウェアです. 修正BSDライセンスに従って本ソフトウェアを使用,再配布することができます. Download TinySegmenter version 0.2 使い方 <script type="text/javascript" src
mecab-ruby のインストール<BR> (Mac OSX & Cygwin on Windows)
mecab の ruby バインディング、mecab-ruby をインストールします。 2007-11-10 Leopard でのビルドを追加 まえがき インストール 設定 使い方 関連するページはこちら、 Mail::BogoFilter —- bogofilter のチューニングを紹介しています。日本語による前処理、DB の効率的な鍛え方、spam-cutoff の設定の考え方等に触れています。 BogofilterNihongo —- bogofilter-nihongo.rb で、メールの事前処理をして、bogofilter に喰わせています。 MeCab —- mecab-ruby は、mecab の ruby バインディングです。 MacOSX & Cygwin on Windows のソフトの事 Windows & Mac で使っているソフト —- ソフトのインストールや設定
RubyのGeneratorが便利な例を考えた - hitode909の日記
ライブラリのインターフェイスが変なときにGeneratorを使ってましにできることがある． MeCabのRubyバインディングのインターフェイスがださくて，使いにくかった． 分かち書きして，名詞だけ表示するようなとき，普通に書くとこうなる． c = MeCab::Tagger.new("-O wakati") node = c.parseToNode(text) while node do puts node.surface if node.feature =~ /^名詞/ node = node.next end whileとか，node = node.nextとかが，Rubyっぽくない． Generatorに入れて1個ずつ返すようにすると，Enumlatorを使えるようになって，だいぶましになる． c = MeCab::Tagger.new("-O wakati") node = c.
RubyでMecabを使ってみた (Mac OS X) - F.Ko-Jiの「一秒後は未来」
Ruby で Mecab という形態素解析エンジンを使ってみました。 インストール ソースからインストールしないといけないかなと思ったらどうやら Mac なら MacPorts で簡単にインストールできるようで、 $ sudo port install mecab $ sudo port install mecab-ipadic-utf8 $ sudo port install rb-mecab これだけ。かと思ったらなぜか文字化けを起こしてしまい、調べてみると辞書ファイルの指定が UTF-8 になっていませんでした。 /opt/local/etc/mecabrc をエディタで開いて、 $ sudo vim /opt/local/etc/mecabrc dicdir を書き換えました。 -dicdir = /opt/local/lib/mecab/dic/ipadic +dicdir =
MeCab + Ruby で形態素解析（わかち書き） - (ﾟ∀ﾟ)o彡 sasata299's blog
2009年09月21日01:32 Ruby MeCab + Ruby で形態素解析（わかち書き） 形態素解析という技術をご存知でしょうか。日本語を最小単位で単語ごとに分割し、それぞれの単語が名詞なのか動詞なのかを判定してくれるものです。例えば「今日は良い天気ですね」を形態素解析するとこのような結果が得られます。 今日 名詞,副詞可能,*,*,*,*,今日,キョウ,キョー は 助詞,係助詞,*,*,*,*,は,ハ,ワ 良い 形容詞,自立,*,*,形容詞・アウオ段,基本形,良い,ヨイ,ヨイ 天気 名詞,一般,*,*,*,*,天気,テンキ,テンキ です 助動詞,*,*,*,特殊・デス,基本形,です,デス,デス ね 助詞,終助詞,*,*,*,*,ね,ネ,ネ EOS さらに、文章を単語ごとにスペース区切りにする処理をわかち書きといいます。こんな感じです。 今日 は 良い 天気 です ね この処理は日
Kazuho@Cybozu Labs: キーワード抽出モジュールを作ってみた
« IIS のログを tail -f | メイン | Lingua::JA::Summarize 0.02 » 2006年04月26日 キーワード抽出モジュールを作ってみた 一昨日、同僚の竹迫さんに、文書内からのキーワード抽出技術について教えてもらっていた時、わざわざ TF-IDF注1 用に別のコーパスを用意しなくても、MeCab だったら生起コストを辞書内に持っているんだから、それを使えばいいのではないか、という話になりました。 竹迫さんがその日のうちに作ってくれたプロトタイプで、アルゴリズムの改善とパラメータのチューニングを行ったところ、十分な品質が出そうなので、書き直して公開することにしました。 普通の Perl モジュールなので、 perl Makefile.PL && make && make install すれば使うことができます (15:50追記: すみません。 MeCab
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
日本語形態素解析の初歩 - あらびき日記
MeCabをrubyから使ってみる - Aerialarts
MeCabをhomebrewでインストールする - Aerialarts
sonson@Picture&Software - [Tips] MacPortsでMecab
ChasenとKakasiとMeCabの形態素解析・わかち書きの比較
転送中