静的索引によるフレーズ検索の高速化
静的索引によるフレーズ検索の高速化 概要 Groonga 6.0.1 において実験的な機能として追加される，静的に構築した索引を使ったフレーズ検索を高速化する方法を紹介します．データとクエリの組み合わせによっては 10 倍以上に速くなるので，フレーズ検索が遅いと感じている方は試してみる価値があります． 実は，一年前（Groonga 5.0.1）に頻出トークンとレアトークンを同時に検索するときの高速化が取り入れられています．しかし，静的構築した索引では効果を得ることができませんでした．本記事で紹介するのは，高速化が有効になる索引を静的に構築する方法と，どのくらい効果があるのかです． フレーズ検索の高速化については， groonga-dev における以下の投稿が参考になります． [groonga-dev,03095] 頻出トークンとレアトークンを一緒に検索したときの性能向上パッチ 使い方 静的
国産の全文検索エンジンGroonga vs 世界的流行のElasticsearch - CreateField Blog
2014年4月21日は、第4回Elasticsearch勉強会ですね！ http://elasticsearch.doorkeeper.jp/events/8865 第4回Elasticsearch勉強会は、参加希望者が約200名の大反響なようです。 私は勉強会に参加できないので、C言語で書かれた国産の高速な全文検索エンジンGroongaと、Javaで書かれた世界的に勢いのあるElasticsearchについて性能の比較をしたいと思います。 注意事項 今回の検証では1台あたりの馬力を比較するためにサーバ1台での全文検索性能について比較しています。 私は、Groonga(Mroonga)の利用暦が約2年であるのに対し、Elasticsearchの利用暦は2日です。このため、Elasticsearchに対するチューニングの不備や公平な比較になっていない点が含まれている可能性があります。 Ela
Groonga ビジネスパートナーズ | グルンパ
Groongaビジネスパートナーズ（グルンパ）の紹介 Groongaに関するサービスを提供する6社が集まり、Groongaビジネスパートナーズ（略称グルンパ）を発足しました。 グルンパは、Groongaの普及とGroongaのビジネス拡大を目的とした集まりです。グルンパでは、まず最初の活動として、主にGroongaの導入を検討している企業に向けて、Groongaに関する有償サービスの紹介や、サービス提供企業からの情報を発信するサイトgroonga.bizを公開しました。 全文検索エンジンGroongaならびにMroongaを始めとした関連プロジェクトに関して、プロダクトサポート、コンサルティング、受託開発など多様なサービスを提供する企業が数多く存在します。グルンパでは、Groongaの有償サポート等をお探しの企業様に対して、サービスに関する情報を提供することによって、Groonga導入の適
mroongaのインストール/アンインストール時に発行するするクエリと、その用途をまとめて解説 - Y-Ken Studio
mroongaのプラグインインストール・アンインストールを手動で行いたい方向けのメモ。 MySQLが起ち上がっていない状態で、プラグインをインストールした時にも必要ですね。 更新履歴 2014年1月8日：mroonga-3.07の新機能であるmroonga_escapeのトピックを追加 インストール時に実行しているクエリ DELETE IGNORE FROM mysql.plugin WHERE name = 'mroonga'; INSTALL PLUGIN mroonga SONAME 'ha_mroonga.so'; CREATE FUNCTION last_insert_grn_id RETURNS INTEGER SONAME 'ha_mroonga.so'; CREATE FUNCTION mroonga_snippet RETURNS STRING SONAME 'ha_mr
Vagrantのprovisionerを使ってmroongaのrpmを作る方法 - MySQL Casual Advent Calendar 2013 - blog.nomadscafe.jp
このエントリーはMySQL Casual Advent Calendar 2013 11日目の記事です。2011年のAdvent CalendarはQ4Mの導入方法を書いたので、今回はmroongaを書きます。 lestrratさんのエントリにもありますが、某サービスの検索システムをmroongaに置き換えるってのを準備しています。今のところメモリ64GB/ioDriveなマシンに、本番で想定している倍の量の9000万件/台の記事データをストレージモードで突っ込んでいますが、遅くても0.5秒ぐらいで検索結果が得られるのでなかなか上々です。 mroongaを導入している環境は、CentOS6系でMySQLは5.6系を使っています。MySQLはOracle公式rpmです。mroongaの公式サイトで配布しているrpmはOS付属のMySQLのバージョンに合わせたrpmなので、Oracle公式rp
Octopress/JekyllでGroongaによる類似文書検索機能を使う
Groonga 2.0.2から類似文書検索機能が使えるようになった。GroongaのRubyバインディングであるRroongaでは2.0.3で同機能への対応がなされている。 Groongaレベルではselect ... --filter カラム名 *S "テキスト"により類似文書検索ができる。このときに指定するカラムは全文検索できるようインデックスを作っておかなければならない。 Rroongaからの使い方は以下のようになる。(Article.bodyに抽出対象のテキストがあるとする。) records = Groonga['Article'].select do |record| record.body.similar_search(article_body) end records.sort([ {key: '_score', order: 'descending'}, ], limit
groongaをさわってみました | 村式流 イッパシエンジニアへの道
こんにちは、涼しくなったら自転車通勤しようかとを目論んでいる神崎です。 全文検索エンジンSennaの後継のgroongaをさわってみました。 インストールや、チュートリアルは日本語ドキュメントが充実しているのでそれを参照するとよいと思います。 PHPから利用する場合は、groonga-phpというライブラリがありますが 環境依存により、今回試した限りではうまく使うことができませんでした。 さて、groonga自体は、独自プロトコルとmemcacheのBINARY PROTOCOLおよびHTTPが採用されています。 groongaをHTTPで起動すると、HTTP経由でアクセスできるのでPHPからも容易にアクセスすることができます。 データはjsonで読み出し、書き込みができるので取り扱いも容易です。 チュートリアルに載っているマイクロブログ検索システムを構築して、Commentsテーブ
検索技術を使うなら知ってないと損する6つのこと～クックパッド、グリー、ぐるなび、CROOZは検索技術をどう使っているのか（1/2） - ＠IT
クックパッド、グリー、ぐるなび、CROOZは検索技術を どう使っているのか 有限会社オングス 杉山貴章 2012/2/9 2012年1月26日、CROOZ主催の勉強会「モーショノロジー2012 ＃1」が開催された。今回のテーマは「全文検索」。検索技術の開発や活用に携わる6名の発表者によって、検索エンジンの実装やプロダクトの活用事例などが紹介された。 全文検索の歴史とgroongaの索引構築の実装 ソーシャル連携などに広がるECサイトでの全文検索 KVSの膨大なKeyを見つけるための全文検索 groongaのRuby実装「rroonga」による検索サービス モバイルに欠かせない位置情報検索で使うgroonga レシピ検索のプロトタイピングにApache Solrを使う そもそも、「モーショノロジー」って何？ そもそも、「モーショノロジー」とは何だろうか。総合司会を務めたCROOZの小俣泰明氏
MySQL 5.5 に mroonga を組込む - 飛光よ、飛光よ
前回のMySQL 5.5 ソースからビルドに続いて 全文検索エンジンgroongaのエンジンをインストールします MySQLに組込む場合はmroonga と言うそうです。 結構ドキュメントが適当に作られているようで、 試行錯誤しないとインストールが上手くいかないことがわかりました まずは、ベースであるgroongaをインストールします pkgconfigが入っていないといけないようなので インストールしていないのならインストールします yum -y install pkgconfig 次はドキュメント通りyumのリポジトリをインストールして、 groongaをインストールします。 rpm -ivh http://packages.groonga.org/centos/groonga-repository-1.0.0-0.noarch.rpm yum -y install groonga こ
groonga 3.0.0リリース
2013-02-09 今日は年に1度の記念すべき肉の日(2/9)ですね。 はじめに、利用事例の記事を書いてくれる人募集のお知らせです。 これまでも、groonga.orgにて 利用事例 を紹介してきましたが、それとは別に、 http://gihyo.jp/にgroonga関連の記事を書くという取り組みもはじめようかと検討しています。 まだgroongaを知らない人にもWeb記事を通じて知ってもらいたいというのが動機です。 詳細は groonga普及のための協力のお願い を参照してください。実際に使っているユーザーのみなさんに書いてもらえたらいいなぁと思っています! groonga 3.0.0リリース 昨年2月9日以来のメジャーアップデートである groonga 3.0.0 をリリースしました！ 今回のリリースでメジャーバージョンがあがって3.0.0となっています！ メジャーバージョンはあが
mroonga│clicktx::Tech::Memo
2013.03.26 groonga, MAMP, mroonga, MySQL, 環境構築 OSX Mountain Lion 10.8.3 groonga 3.0.1 MySQL 5.5.30 MAMP 2.1.4 groongaのインストール groongaはMacportsでインストールする。 sudo port install groonga groongaをインストールするとmysql55もインストールされるのでソースコードはこれを使う。...と、思ったら最近のmacportsはバイナリをダウンロードするらしい（Shibu's Diary: MacPortsは生まれ変わった ） MacPortsのバイナリダウンロードはビルドした時と違うファイルになる場合があるっぽい - k […]
全文検索エンジンmroonga導入の試行錯誤
yumのremiレポジトリを使って構築してある環境にmroongaを導入しました mroongaはMySQLで全文検索機能する為のエンジンで、MySQLのプラグインとして動作します マニュアルを見てると簡単に入りそうなのですが、既に動いてる環境に入れたのでとても苦労しました 失敗した部分を全部書いてるので非常に長いですが、ご容赦ください まず現在の環境から PHP remi-testを使ってPHP5.4を入れています ~~~ $ yum list installed | grep php* php-cli.x86_64 5.4.0-1.el5.remi installed php-common.x86_64 5.4.0-1.el5.remi installed php-fpm.x86_64 5.4.0-1.el5.remi installed php-gd.x86_64 5.4.0-1.e
groonga 2.0.0リリース
2012-02-29 groonga 2.0.0リリース 今日は4年に1度の肉の日ですね。 groonga 2.0.0 をリリースしました！ それぞれの環境毎のインストール方法: インストール 今回のリリースでメジャーバージョンがあがって2.0.0となっています！メジャーバージョンはあがりましたが、データベースのファイル形式は互換性があるのでデータベースを作りなおす必要はありません。 メジャーバージョンアップについて 1.xから2.xにメジャーバージョンがあがったのは今日が特別な日ということもありますが、より安心して使ってもらえることをアピールしたいという意図があります。 1.0.0のリリースは 日本Ruby会議 2010 の最終日である2010/8/29でした。それから約1年半が経ち、継続的な機能拡張・バグフィックスを重ねることで、より広く使ってもらえるようになりました。 すでに利用され
groonga 1.3.0リリース
これまではリネームしようと思ったら、わりと大変だったのですが、これで簡単にスキーマを試せますね。 MessagePack出力とサジェスト機能を「サポート対象」に変更 1.3.0になったこともあるので、MessagePack出力と サジェスト機能 を「実験的」な扱いから「サポート対象」の扱いにしました。 サジェスト機能は内部的なスキーマをこれから変更する可能性はあるのですが、上記のrenameコマンドで外部からは意識しないで改良していける見通しが経ったので「サポート対象」扱いとしました。 MessagePack出力もサジェスト機能もぜひ使ってみてください。 変更点 1.2.9からの変更点: 1.3.0リリース - 2012/01/29 さいごに それでは、今年もよろしくおねがいします！ リンク ホーム ドキュメント 発表 利用例 関連プロジェクト コミュニティ コントリビュート ロゴ ステッ
groonga 1.2.7, groongaストレージエンジン 1.0.1リリース
2011-10-29 groonga 1.2.7, groongaストレージエンジン 1.0.1リリース 今月もgroongaとgroongaストレージエンジンをリリースしました。 groonga 1.2.7での変更点 groongaストレージエンジン 1.0.1での変更点 ここ数リリースで位置情報検索まわりを強化していて、groongaストレージエンジンはMyISAMよりも高速に動作するようになっています。もう少し高速化案があるので、次のリリースでも位置情報検索まわりが改良されるでしょう。 2011/11/29の 全文検索エンジンgroongaを囲む夕べ 2 の前の2011/11/05（土）に オープンソースカンファレンス2011 .DB の OSSDB MySQL におじゃまして少しだけgroongaストレージエンジンを紹介します。こちらにもぜひ参加してみてください。 リンク ホーム
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQLを通じた全文検索エンジンSenna/groongaの利用について
https://groonga.org/ja/docs/tutorial/index.html
yasuoza.com
mroonga3.3.2. ラッパーモード v2.01 documentation
gpg/apt : pgp.mit.edu にキーがあった。 - 原宿工業大学