MySQLによる日本語全文検索 | Firegoby
php+MySQL+mecabで日本語全文検索システムを作成した。 弊社で提供しているデジタルカタログサービスで提供するデジタルカタログに全文検索機能を実装するためで、実装したサンプルは以下の通り。 JULIA OPEN WATER MANUAL（お客様のご好意によりここで紹介しています。） MySQLによる日本語全文検索とは？ MySQLにはもともとFULLTEXT型というインデックス機能がある。 これを使用するとGoogleやYahooのような全文検索機能を利用することができるのだが、残念ながら元となる文章が英文のように単語の間にスペースが入っている必要があり、そのままでは日本語では使用できない。 そこで、MySQLのFULLTEXT検索を行うために以下のような方法が使用される。 mecabなどの分かち書きシステムを利用してインデックスを構築する。 n-gramを使用してインデックスを
PHP で MySQL FULLTEXT + MeCab で簡単に全文検索を実装する
大量のデータがあるサイトに検索機能を実装することになりました。LIKE 演算子で %keyword% と検索してみたところ、結果が1分経っても返って来なかったのでで Ngram もしくは MeCab を使った全文検索をできるように仕組みを実装しました。 自分の勉強のために改めて自分で解説してみることにします。初心者の視点から書いてるので、全文検索をやったことがない方やこれから全文検索をしようと思ってる人は入門の参考にしてください。 MySQL での日本語全文検索について MySQL の FULLTEXT 型とは そもそも MySQL の FULLTEXT 型というインデックスを使えばそれだけで全文検索をできます。しかし英語のように単語がスペースで区切られてる時だけであり、日本語のように全て繋がっている場合は機能しません。 そのため MeCab などの日本語形態素解析で日本語から単語を抽出し
全文検索システム Namazu
Namazuとは? Namazu は手軽に使えることを第一に目指した日本語全文検索シス テムです。CGI として動作させることにより小中規模の WWW 全文 検索システムを構築することができるほか、コマンドラインや Emacs上から利用するといった個人用途にも使えます。 目次 新着情報 主な特徴 ライセンス ダウンロード 安定版ソースコード Debian GNU/Linux用debパッケージ Windows版 インストール 検索 チュートリアル 説明書 豆知識 FAQ 関連リンク集 メイリングリスト Wiki/バグ追跡システム セキュリティに関する考察 開発情報 歴史資料 出版物 催し関連 Namazu Projectとは サービス復旧状況 新着情報 2011-07-18: Namazu 2.0.21 を公開 セキュリティフィックスリリース IE6,7のクロスサイト スクリプティング脆弱性
日本テレビ東京で学ぶMeCabのコスト計算 | mwSoft
今回はこの言葉の解析をMeCab＋NAIST辞書にお願いして、結果を分析することで、MeCabが行っているコスト計算について勉強してみたいと思います。 とりあえず実行してみる さっそくMeCabに「日本テレビ東京」を解析してもらいましょう。 $ echo 日本テレビ東京 | mecab 日本 名詞,固有名詞,地域,国,*,*,日本,ニッポン,ニッポン,, テレビ東京 名詞,固有名詞,組織,*,*,*,テレビ東京,テレビトウキョウ,テレビトーキョー,, EOS 「日本 | テレビ東京」と分けていますね。視聴率的には負けていますが、NAIST辞書的には日本テレビよりもテレビ東京が優先されたようです。 ちなみに「フジテレビ東京」ではどうなるでしょうか。 $ echo フジテレビ東京 | mecab フジテレビ 名詞,固有名詞,組織,*,*,*,フジテレビ,フジテレビ,フジテレビ,, 東京 名詞,
自動リンク(AutoLink)や英単語のカタカナ変換、漢字のふりがなをMecabで実現する【NADのカタカナ英語辞書の使用条件について更新】 - [Mi]みたいなもの
オープンソースの形態素解析エンジンMecab（和布蕪）を導入して、今欲しいあれこれを試すことにしました。 今回は方法論を検討します。 やりたいこと 前回、Yahoo! JapanのWeb APIには「ルビ振り」というテキスト解析がある件という記事を書きました。 Yahoo! JapanのWeb API「ルビ振り」を使って「ふりがな」をつける方法です。 しかし仮に今後「タグ」を付ける方法を検討することを考えると、形態素解析が必要になります。 Yahoo! JapanのWeb APIでも形態素解析は可能ですし、性能も高いようです。 しかし自由度や汎用性の点でMecabに劣ります。何より英単語→カナ読みまではできません （うまく使い分けたいですね。APIは単独で使う分には便利！だし）。 漢字→フリガナ 英単語→カナ読み 自動リンク(AutoLink) タグ これらを実現するため、以下ではMeca
![自動リンク(AutoLink)や英単語のカタカナ変換、漢字のふりがなをMecabで実現する【NADのカタカナ英語辞書の使用条件について更新】 - [Mi]みたいなもの](https://cdn-ak-scissors.b.st-hatena.com/image/square/3e7f12702f3e68f2524420a095c2fb3cda16cae7/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117127156572702%2F17680117127156589594%2F1558483446)
ウノウラボ Unoh Labs: PHPとMecabでキーワード自動リンクを実装する
こんにちは、山下です。 今年もどうぞよろしくお願い致します。 Webサービスを開発していると、特定のキーワードを自動でURLリンクにする処理が必要になることがあると思います。今回は、このキーワード自動リンク機能を形態素解析ツールMecabを使ってPHPで実装する方法を紹介したいと思います。 説明に入る前に少し補足しておくと、Trieの実装であるDouble-Array処理だけ利用したいのであれば、MecabからDouble-Array処理の部分を切り出したDartsというライブラリがあります。しかし、なぜMecabを使うかというと、PerlだとDartsのバインディングが公開されているのですが、現時点でPHP版はありません。また、最近のLinuxディストリビューションでは、Mecabのパッケージが最初から用意されているため、より簡単に利用できると思ったからです。 それでは、順を追って説明
ウノウラボ Unoh Labs: mecabのユーザ辞書を追加した時にはまったメモ
こんにちは satoです。mecabのユーザ辞書を追加したのですが，いろいろはまったので誰かがはまった時のためにメモっておきます。 1)品詞IDの取り方 2)ユーザ辞書の追加方法 3)禁止語句とか独自の要素を付けたい csvファイルの最後に追加すればOK 4)context_id.cpp(88) [it != left_.end()] cannot find LEFT-... ってエラーが出る left-id right-id の文字コードが csvファイルの文字コードと違うのが原因 nkf --utf8とかで文字コードをそろえる 5)CHECK_CLOSE_FALSE(sysdic->isCompatible(*d)) sys.dic と ユーザ辞書の文字コードが違うと出るエラー utf8とUTF8は違うと判定されるのでutf-8と書く 6)追加した辞書に品詞IDが付かない or 65
mecabのユーザ辞書でwikipediaとhatenaキーワードを利用する - てんぷろぐ
（インストールの仕方などはほかの人がいっぱい説明してくれているので割愛） どうやら標準の辞書だけだと限界があるようので、以下の記事などを参考に 「wikipediaとhatenaキーワードをユーザ辞書として利用する」 ということをやってみました。 http://d.hatena.ne.jp/code46/20090531/p1 http://www.mwsoft.jp/programming/munou/mecab_hatena.html http://deepneko.dyndns.org/kokotech/2009/06/mecabwikipedia.html 作ったのは以下の2つのスクリプト。 webからデータを取ってきて、csv作成コマンド、辞書作成コマンドを呼び出すshell (convWebWordsToDic.sh) #!/bin/sh CSV=../data/words.c
スクリプト言語のバインディング
概要 各種スクリプト言語 (perl, ruby, python, Java) から, MeCab が提供する形態素解析の機能を利用可能です. 各バインディングは SWIG というプログラ ムを用いて, 自動生成されています. SWIG がサポートする他の言語も 生成可能だと思われますが, 現在は, 作者の管理できる範囲内ということで, 上記の4つの言語のみを提供しております. インストール 各言語バイディングのインストール方法は, perl/README, ruby/README, python/README, java/README を御覧下さい. とりあえず解析する MeCab::Tagger というクラスのインスタンスを生成し, parse (もしくは parseToString) というメソッドを呼ぶことで, 解析結果が文字列として取得できます. MeCab::Tagger のコ
MeCabの辞書をはてなキーワードとWikipediaで鍛える at Lunalog – るなろぐ
LUNA(武藤研究会ソフトウェア研究グループ）の共同更新ブログ作業環境：Lunalice(CentOS 5.5) システムエンコーディング：UTF-8 MeCabのエンコーディング：UTF-8 ◆Wikipedia編 SorAmberが作ってくれたwikipedia.csvを使う。 コスト付をして文脈IDを整形しただけで使用完了した。 この方法については後述。 (maintain.rb) ◆はてなキーワード編 各種ページを参照するも、上手く行くものなし。恐らく原因はテキストファイルが汚い（フォーマットに則っていない、記号等が読み込めない）ことだと思う。 最終的に、 http://d.hatena.ne.jp/hirokan55/20100215/p1 のページをベースに使うことにした。 ページの通りに進めることで辞書登録を確認。 しかし、折角はてなキーワードにはふりがな
MeCab単語の追加 - 放牧ライフ
先日のRMeCabのインストールに引き続き、MeCabの辞書へ単語の追加をしました。http://mecab.sourceforge.net/dic.htmlを参考にしています。 システム辞書とユーザ辞書、二つの追加方法がありますが、今回はユーザ辞書への追加をします。 disease.csvというファイルを準備し、このファイルに書かれている単語を辞書に追加します。disease.csvの文字コードはutf-8です。 まず、disease.csvがあるフォルダに移動し、辞書のコンパイルをします。私の場合、辞書も文字コードはutf-8であるため、コンパイルは以下のように実行します。 $ /usr/local/libexec/mecab/mecab-dict-index -d/usr/local/lib/mecab/dic/ipadic -u disease.dic -f utf-8 -t ut
MeCabでユーザー辞書を登録する - mizchi log
バイトでやってる自然言語処理のお仕事です。 データをMeCab辞書のフォーマットにパースしてcsvで保存 /usr/local/libexec/mecab/mecab-dict-index でコンパイル /usr/local/etc/mecabrc を編集してユーザー辞書を指定する 参考: MeCab: 単語の追加方法 MeCab辞書のフォーマット 例: 工藤,1223,1223,6058,名詞,固有名詞,人名,名,*,*,くどう,クドウ,クドウ具体的には 表層形,左文脈ID,右文脈ID,コスト,品詞,品詞細分類1,品詞細分類2,品詞細分類3,活用形,活用型,原形,読み,発音 今回は名詞を扱うので、ある程度決め打ちにしておく。 {単語},-1,-1,10,名詞,一般,*,*,*,*,{単語},*,*,{登録タグ} 文脈ID: 左文脈IDは, その単語を左から見たときの内部状態IDです. 通
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ちょっとだけMeCabチューン | ふそうごむ。by扶桑ゴム産業
はてなブログ | 無料ブログを作成しよう