日本語形態素解析の裏側を覗く！MeCab はどのように形態素解析しているか - クックパッド開発者ブログ
こんにちは、買物情報事業部の荒引 (@a_bicky) です。 前回、「検索結果の疑問を解消するための検索の基礎」で単語単位でインデキシングする前提で説明しましたが、今回は文などを単語単位で分割するために使う技術である形態素解析について触れます。 形態素解析器には色々ありますが、中でもメジャーと思われる MeCab の仕組みについて説明します。 MeCab の解析精度を上げるために辞書に単語を追加したことのある方もいると思いますが、動作原理を理解することで単語を追加する際に適切な生起コストを設定できるようになったり、学習の際に適切なパラメータを設定できるようになったりするはずです。 なお、MeCab は汎用テキスト変換ツールとしても使用できます が、簡単のため MeCab + IPA 辞書のデフォルト設定前提で説明します。 アジェンダ 形態素解析とは MeCab における最適な解析結果の推
MeCab システム辞書への単語追加（mecab-ipadic-neologd）
MeCab 辞書には、以前の記事でご紹介した「ユーザ辞書」と「システム辞書」の２種類があります。ユーザ辞書への単語の追加は、手軽な反面、解析速度が落ちるといったデメリットもあります。そこで今回は、MeCab の「システム辞書」に単語を追加する方法をご紹介します。また、最近話題の新語辞書 mecab-ipadic-neologd もシステム辞書に追加してみました。 作業の流れ MeCab のシステム辞書は１つのみ、というルールがあるため、IPA辞書のソースディレクトリに、追加したい単語のCSVファイルを配置して、システム辞書を作成します。また、追加する単語のコストは、mecab-ipadicのモデルファイル使った自動推定機能を使います。 下準備 MeCab と IPA辞書をインストールしておきます。 nkf コマンドのインストール IPA辞書の文字コードを、UTF-8 に変換するため、nkf
MeCabで名詞のみを抽出するGemを公開しました | kami's blog
形態素解析を行なうためのライブラリとして有名なものにMeCabがあります。 これを用いて名詞を抽出する機会があったので、 mecab-noun_parser として公開しました。 インストール方法 Gemfile に以下を書いて bundle します。 gem 'mecab' gem 'mecab-noun_parser' もちろん、別途 MeCab 本体のインストールを行なう必要があります。 使い方 使い方としては、 MeCab::NounParser のインスタンスを生成し、それに解析したい文章を追加します。 parse メソッドでこれを解析し、 nouns メソッドで結果を取得できます。 require 'mecab' require 'mecab-noun_parser' parser = MeCab::NounParser.new parser << 'Rubyは、手軽なオブジェ
php-mecab 0.5.0 | チラシのうら
拙作php-mecabがMeCab 0.99でビルドできなかったり、PHP 5.4でビルドできなかったのを修正した。 MeCab 0.99に対応するため、構造体の変更によって互換性が失われた関数を無効にしている。今後の開発はPHP 5.3.0以降とMeCab 0.99以降のみサポートし、MeCabの新たな機能を網羅したい。 GitHub/rsky/php-mecab ダウンロード 他のプロジェクトたちも、とりあえずセーフモードチェックを切る対応をしないと・・・ 追記 OpenDogs PHP extension channelも更新した。 インストール: pear channel-discover pecl.opendogs.org pear install opendogs/mecab アップグレード: pear upgrade opendogs/mecab
PHP 5.4.0 RC6 に php_mecab をインストールする - うたたね日和
mecab, php, centosPHP5.4.0RC6でphp_mecabのインストールに失敗して、でもめげずにインストールしました。怒涛の1時間ちょいの作業内容をまとめました。 ちなみに、PHP5.4.0RC6はremi-testレポジトリからyumでインストールしました。 スタートからエラーがでるまでは、馴染みのあるソースコードインストールの流れです。途中のphpizeっていうコマンドはPHP本体のソースコードを再コンパイルしなくてもいいようにしてくれるらしい！prefixは本当はいらないのかな？php-configやmecab-configは設定しなくても変な場所に設置していなければ、自動でみつけてくれます。 # ソースコードをダウンロードしてきて、作業用ディレクトリに移ります cd /usr/local/src/ wget http://pecl.opendogs.org/ge
php_mecabのインストールに凄くハマりました（時間を費やしたという意味で） - A.C.Milan好きの皮相浅薄な独り言
Linux, otoge.net, PHPotoge.netにMecabを使用した検索機能を実装するため、調べた記事を参考に作業を進めていたのですが、MecabをPHPから利用するためのモジュールであるphp_mecabのインストールで数時間程はまってしまい、凄く嫌な思いをしたので、備忘録として残しておきます。 まず、事前にイカサイトにてMecabと辞書をインストールしておきます。MeCab: Yet Another Part-of-Speech and Morphological Analyzer そして、php_mecabを以下のようにインストールします。 pear channel-discover pecl.opendogs.org pear remote-list -c opendogs sudo pear install opendogs/mecab-beta 普通はこれで上手く
livedoor Techブログ : wikipediaのデータや顔文字辞書からmecabのユーザ辞書を作成するフレームワーク
突然ですが，mecabの辞書 (mecab-ipadic) をデフォルトのまま使って，mecab意外と使えねぇとか文句言ってる悪い子はおらんかね？ mecab-ipadic は比較的お行儀のよい日本語をベースに作られているので，そのままでは web上の口語文体のテキストはうまく扱えないことがあります。本来は教師データを用意し，学習させるといった手法を使うのが正攻法だと思いますが，とりあえず名詞を充実させるだけでも実用度はだいぶ上がるでしょう。 人間の話す言語には，動詞の語幹や名詞には日々新しく語彙が増えるけど，助詞や活用のルールは簡単には変化しない，という特性があります。特に「いま最もつぶやかれている単語ランキング」といった集計をするような場合は，名詞の範囲の切り出しさえ間違えなければそれなりの結果を出せることも多いのです。 ただ，辞書への単語追加はここにある通り簡単にできるのですが，単語
GitHub - rsky/php-mecab: MeCab binding for PHP
Copyright (c) 2006-2015 Ryusuke SEKIYAMA. All rights reserved. Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to
きまぐれ日記: MeCabがiPhone,OSXに載っていると言うのは止めようと思う
iPhoneのSDKの条項に変更が加わり、Flashのクロスコンパイルを含む 純正開発ツール以外で作成されたバイナリの配布が禁止となるようです。 世間でも散々言われていますが、この変更は正直とても残念です。 Apple的には「製品のクオリティーが保てないから」という理由だそうですが、 Windows版iTunesが意味もなくQuickTime入れたり、Windows非標準のUIを 使いまくっていて、お世辞にもクオリティーが高いとは言えないのを棚にあげて、 クオリティー云々と言い訳できるのでしょうか。アプリなんて所詮 玉石混淆。決めるのはユーザです。 MeCabは以前GPL/LGPLでした。Appleを含む複数の方からこのライセンスでは 使いにくいと言う指摘をうけ、前職の同僚と協議をしながらBSD/LGPL/GPL のトリプルライセンスにしたという経緯があります。結果としてこの変更は うまく
PHPで都道府県、市区町村、町域名以降の住所分割を高速に行う方法 - 理想未来ってなんやねん
一つに結合された住所文字列から、『都道府県』、『市区町村』、『町域名以降』を高速に分割したい。 簡単に思いつく方法としては、日本郵便で公開されている住所データを元に1行づつ比較していく方法が考えられますが、生成に時間が掛かってしまいます。 こんな時にmecabを使うと簡単且つ高速に分割できます。 住所辞書の作成 まずは住所辞書を作成します。 そのために住所辞書の元になるデータ用意する必要がありますが、今回は日本郵便で公開されている郵便番号データを使いました。 公開されているデータファイルはlzh形式となっているので、lhaで解凍します。 CentOSでのlhaのインストールは『CentOSでlhaを使う - 理想未来はどうなった？』を参考にしてください。 wget http://www.post.japanpost.jp/zipcode/dl/kogaki/lzh/ken_all.lzh
MySQL5.1にMeCabのfull-text parser pluginを入れてみた - Lism.in * blog - nekoya (id:studio-m)
MySQL5.0で全文検索というと、Tritonn入れたりしてSennaを使うのが常套手段。そういうところはプラグインで解決するのが5.1のやり方らしい。 http://www.slideshare.net/hiroaki.kawai/mysqlftppc http://sourceforge.net/apps/mediawiki/mysqlftppc/index.php?title=Main_Page というわけで、MySQL5.1でfull-text indexを作成出来るようになる、mysqlftppcことMySQL full-text parser plugin collectionを入れてみました。環境はCentOS5.4(x86_64)。 MySQL本体は公式のRPMを使用。 http://dev.mysql.com/downloads/mysql/5.1.html#linux
日本テレビ東京で学ぶMeCabのコスト計算 | mwSoft
今回はこの言葉の解析をMeCab＋NAIST辞書にお願いして、結果を分析することで、MeCabが行っているコスト計算について勉強してみたいと思います。 とりあえず実行してみる さっそくMeCabに「日本テレビ東京」を解析してもらいましょう。 $ echo 日本テレビ東京 | mecab 日本 名詞,固有名詞,地域,国,*,*,日本,ニッポン,ニッポン,, テレビ東京 名詞,固有名詞,組織,*,*,*,テレビ東京,テレビトウキョウ,テレビトーキョー,, EOS 「日本 | テレビ東京」と分けていますね。視聴率的には負けていますが、NAIST辞書的には日本テレビよりもテレビ東京が優先されたようです。 ちなみに「フジテレビ東京」ではどうなるでしょうか。 $ echo フジテレビ東京 | mecab フジテレビ 名詞,固有名詞,組織,*,*,*,フジテレビ,フジテレビ,フジテレビ,, 東京 名詞,
php_mecab-0.3.0.tgzのコンパイルが通りません http://d.hatena.ne.jp/rsky/20071228/1198841049 PHP5.2.9からPHP5.3.0へアップデート後の症状なので PHP絡みで…
php_mecab-0.3.0.tgzのコンパイルが通りません http://d.hatena.ne.jp/rsky/20071228/1198841049 PHP5.2.9からPHP5.3.0へアップデート後の症状なので PHP絡みで原因がありそうです. 原因やコンパイルを通す方法が分かりません,よろしくお願いします。 cc -I. -I/usr/local/src/php_mecab-0.3.0 -DPHP_ATOM_INC -I/usr/local/src/php_mecab-0.3.0/include -I/usr/local/src/php_mecab-0.3.0/main -I/usr/local/src/php_mecab-0.3.0 -I/usr/include/php -I/usr/include/php/main -I/usr/include/php/TSRM -I/u
mecab辞書にwikipediaのタイトル名を追加 - kokotech
wikipediaのタイトルを追加しようとしたらいくつかハマったので。 環境はFedora10。 まずはmecabのインストール。 # yum install mecab* とりあえずこれだけでおもむろに形態素解析してみる。 # echo けいおん！のせいでtwitter界隈にギター買うとか宣言してる奴が増えた | mecab けい 名詞,一般,*,*,*,*,けい,ケイ,ケイ おん 名詞,一般,*,*,*,*,おん,オン,オン ！ 記号,一般,*,*,*,*,！,！,！ の 助詞,連体化,*,*,*,*,の,ノ,ノ せい 名詞,非自立,一般,*,*,*,せい,セイ,セイ で 助動詞,*,*,*,特殊・ダ,連用形,だ,デ,デ t * w * i * t * t * e
はてなブログ | 無料ブログを作成しよう
来年も作りたい！ふきのとう料理を満喫した 2024年春の記録 春は自炊が楽しい季節 1年の中で最も自炊が楽しい季節は春だと思う。スーパーの棚にやわらかな色合いの野菜が並ぶと自然とこころが弾む。 中でもときめくのは山菜だ。早いと2月下旬ごろから並び始めるそれは、タラの芽、ふきのとうと続き、桜の頃にはうるい、ウド、こ…
マルコフ連鎖で日本語をもっともらしく要約する - ザリガニが見ていた...。
そもそも、マルコフ連鎖とは何なのか？全く聞いたこともなかった。そして、文章を要約するのはとっても高度なことだと思っていて、自分のレベルではその方法を、今まで思い付きもしなかった。 しかし、以下のようなシンプルなRubyコードでそれが出来てしまうと知った時、目から鱗である...。一体、何がどうなっているのだ？コードを追いながら、マルコフ連鎖を利用するという発想の素晴らしさを知った！ 作業環境 MacBook OSX 10.5.7 ruby 1.8.6 (2008-08-11 patchlevel 287) [universal-darwin9.0] mecab utf8環境でインストール済み マルコフ連鎖に出逢う rssを流し読みしていると、以下の日記に目が止まった。（素晴らしい情報に感謝です！） MeCabを使ってマルコフ連鎖 一体何が出来るコードなのか、日記を読んだだけではピンと来なかっ
MeCabの辞書にはてなキーワードを追加しよう - 不可視点
MeCabは形態素解析のためのソフトウェアです。日本語を分かち書きするために使われるものとしては最も人気の高いものだと思われますが、チャットや掲示板に書き込まれるような崩した日本語や、正しく書かれた日本語でも新語を期待した通りに分かち書きしてくれないことがあります。これはMeCabの内部で使われている辞書が一般的な言葉を情報源としているわけではないことに関係があります。MeCabというか、より一般的な話ですが以下のような認識が一般的かと思われます。 というのも、一番広く使われているであろう自然言語処理技術は形態素解析(単語分かち書き、と言ったほうがいいのかもしれない)であろうが、これは現在99%くらいの精度になっていて、すでに人間がやるより遙かに高精度で行えるのだが、これだけ高い精度が出せるのは新聞記事を相手にしたときだけであって、それは新聞記事をコーパスとして用いる機械学習により形態素解
MeCabで携帯絵文字変換 - kaz29
ちょっとやりたい事があって最近、MeCabで色々調べたり実験したりしていたのですが、 MeCabを汎用的なテキスト変換ツールとして利用できる様です。 ふと思いついて、この機能を使って携帯絵文字の変換が出来ないか試してみました。 実験の元ネタになる絵文字のデータ、対応表はアシアルさんが公開されているText_Pictogram_Mobile-0.0.2を使わせて頂きました。 変換辞書の作成 今回は各キャリアの絵文字を相互に変換する為以下の６種類の辞書を作成しました。 docomo => ezweb docomo => softbank ezweb => docomo ezweb => softbank softbank => docomo softbank => ezweb Text_Pictogram_Mobileを使用して、辞書の元になるcsvファイルを作成するバッチのスクリプトを作りま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
文章の中のはてなキーワードをハイライトさせる
mysql full-text parser plugin collection