はてなブックマーク

PGroonga（ぴーじーるんが） 1.0.0リリース 今日は肉の日ですね！ PostgreSQLからGroongaを使えるようにするPGroongaの1.0.0をリリースしました！最初のメジャーリリースです！ PGroongaについて PGroongaはPostgreSQLを高速に日本語全文検索可能なシステムに拡張する魔法のような拡張機能です。PGroongaの他にも類似の拡張機能はありますが、速度・機能面で他の拡張機能とは一線を画しています。これはPGroongaはバックエンドにGroongaという本格的な全文検索エンジンを使っているためです。 速度面では類似の拡張機能であるpg_bigmよりも高速です。インデックス作成時間、検索時間ともに数倍から10倍以上高速です。 PostgreSQLで日本語全文検索 - LIKEとpg_bigmとPGroonga - ククログ(2015-05-2

2015-09-14 Groonga Meatup 2015会場提供のお願い Groongaは毎月肉の日（29日）に新しいバージョンをリリースしています。そして、年に一度、いい肉の日（11月29日）に「全文検索エンジンGroongaを囲む夕べ」というイベントを開催しています。 もちろん、今年も開催しますが、イベント名は「Groonga Meatup」になります。「Meet」（会う）ではなく、「Meat」（肉）です。「集まり」（meetup）と「肉」（meat）の日開催ということをかけています。言わせんな恥ずかしい。 今年は11月29日が日曜日のため、イベントは日中に開催します。そのため、「夕べ」ということに違和感があるということも理由です。（実は、去年の11月29日は土曜日で、去年も日中に開催したのですが、違和感を感じながらも「夕べ」で通しました。） イベント名変更の説明はこのくらいにして

2015-02-13 2015-03-20（金）19:30より渋谷でGroonga "Tokenizer" Talksを開催予定 2015-03-20（金）19:30より「トークナイザー」をテーマにしたGroongaイベントGroonga "Tokenizer" Talksを開催する予定です。場所は渋谷で会場提供はGMOメディアさんです。ありがとうございます！ 実際にトークナイザーや形態素解析器を開発している人に話をしてもらうので、濃い内容になるはずです。多めに時間をとっているので、話をしている人にわからないことやもっと詳しく知りたいことを詳しく聞けるはずです。トークナイザーに興味のある方は（今のところはGroongaにそんなに興味がなくても）ぜひお越しください。 話は2つあって、1つはN-gramベースの話で、もう1つは形態素解析ベースの話です。 N-gramベースの話は去年のいい肉の日

2015-02-09 PGroonga（ぴーじーるんが） 0.3.0リリース 今日は年に一度の肉の日ですね！ PostgreSQLからGroongaを使えるようにするPGroongaの0.3.0をリリースしました！ インストール方法 PGroongaについてやPGroongaと他の類似システムとの違いについてはPGroonga 0.2.0のリリースアナウンスを参考にしてください。 0.3.0は0.2.0と互換性がありません。そのため、PGroonga用のインデックスを再作成する必要があります。具体的な手順は次の通りです。 -- まずPGroongaを更新する。その後で↓を実行する。 DROP EXTENSION pgroonga CASCADE; CREATE EXTENSION pgroonga; -- ↑のDROP EXTENSION CASCADEでpgroonga用のインデックスも

PGroonga（ぴーじーるんが） 0.2.0リリース - PostgreSQL 9.4でGroongaを使える！ 今日は今年最初の肉の日ですね！ PostgreSQLからGroongaを使えるようにするPGroongaの最初のバージョン、0.2.0をリリースしました！ PGroongaは最新のPostgreSQL 9.4で使えます。PostgreSQLからGroongaを使うためのtextsearch_groongaという拡張機能もありますが、この拡張機能はPostgreSQL 9.4や新しいGroongaでは動きませんでした。 PGroongaはtextsearch_groongaをベースに、最新のPostgreSQL・Groongaで動くようにしたものです。 PostgreSQLで日本語全文検索をする方法には次の方法がありますが、それぞれいくつか問題があります。 pg_trgm Po

groongaからGroongaへ - ドキュメントの表記を一緒に更新しませんか? リリースアナウンスや、公式ドキュメントをみてもうすでに気づいた人がいるかもしれませんが、Groonga関連のソフトウェアの表記を「Groonga」（先頭が大文字）へ統一する作業をすすめています。 それなりに分量があるので、ドキュメントに散らばっている「groonga」表記の統一をお手伝いしてくれる人を募集します。 詳細は後述する「協力者募集」を参照してください。コードを書かなくてもできることです。 表記の統一について これまでは、日本語の文の中や英語の文の途中では「groonga」（先頭も小文字）という表記で、英語の文の先頭では「Groonga」（先頭が大文字）という表記を使ったりしていました。これからは、日本語のときでも「Groonga」（先頭が大文字）を使うようにします。 表記の統一の理由について 先頭

Groonga関連プロジェクト Groonga関連プロジェクトは以下のような5つのカテゴリに分けられます。 データベース 言語バインディング クライアントライブラリ サーバーユーティリティ コマンドラインユーティリティ 個々の関連プロジェクトの詳細については後述のセクションを参照してください。 データベース Groongaを他のデータベース製品と組合せて使うこともできます。拡張したSQLクエリを使うことができます。 Groonga + MySQL MroongaはGroongaを用いたMySQLのストレージエンジンです。Mroongaを用いることにより、MySQLでも高速で高精度な全文検索機能を利用できます。 Groonga + PostgreSQL PGroongaはインデックスにGroongaを用いたPostgreSQLの拡張機能です。全言語対応で高速な全文検索機能を利用できます。 言

もっとGroongaを広めるために、みなさんの事例をたくさん紹介したいと思っています！事例のある方はgroonga@groonga.orgにメールするか、GitHubでpull requestを送ってください！ みなさんのサイトでGroongaのロゴを使ってください！ みなさんのノートパソコンにGroongaのステッカーを貼ってください！ Aozorasearch Aozorasearch - 青空文庫検索 Groonga + Rroongaの組み合わせで利用。 Aozorasearchは青空文庫のほぼ全作品の本文を全文検索できるWebサービスです。Groongaのドリルダウン機能を使って、NDCや仮名遣い、著者が生まれた年代などで絞り込むことができます。 CrowdWorks Directory | 社員名簿＋日報システム クラウドワークスの社内システム、CrowdWorks Direc

レプリケーション対応のGroongaシステムを実装するには、いくつかのシステム構成を選ぶことができます。このドキュメントではいくつかのパターンを説明します。 利用可能なパターンは以下の通りです。 マスタースレーブレプリケーション 復帰したスレーブへのデータの再送 利用できないパターンは以下の通りです。 マルチマスターレプリケーション 自動でのスレーブ復旧 動的なスレーブ追加 フェイルオーバー サービスレベルを落とすSPOF（Single Point of Failure。単一障害点）がないシステム マスタースレーブレプリケーション マスタースレーブレプリケーションを利用可能です。このセクションではどのようにシステムを構成すればよいかを説明します。 小さいシステム 小さいシステムでは、2つのサーバーだけがあるとします。1つがマスターGroongaサーバーで、もうひとつがスレーブGroonga

2013-01-08 去年最後の肉の日である12/29に、ログ収集ツール fluentd を使って、groongaデータベースのレプリケーションを行うライブラリfluent-plugin-groonga 1.0.1をリリースしました。 しかし、blogroongaでは今までこのfluent-plugin-groongaについて説明していませんでした。 そこで、この記事ではfluent-plugin-groongaについて説明します。 fluent-plugin-groongaとは fluent-plugin-groongaはfluentdのプラグイン集で、Rubyで実装されています。 通常、fluentdはログの収集に使いますが、fluent-plugin-groongaではgroongaのクエリを複数のgroongaサーバーに転送するために使っています。つまり、fluentdのメッセージ

2012-06-29 groonga 2.0.4リリース 今日は肉の日ですね。 groonga 2.0.4 がリリースされました！ それぞれの環境毎のインストール方法: インストール 今回のリリースの主なトピックは3つあります。 nginxベースのHTTPサーバーを実験的に追加 groongaドキュメントの更新 位置情報から距離を計算する組み込み関数の改善 nginxベースのHTTPサーバーを実験的に追加 groongaはデフォルトで HTTPサーバー 機能を提供しています。 ただしHTTPサーバーとしては最小限機能しかありませんでしたので、例えば接続元の制限を行うためには別途iptablesなどと組み合わせて使う必要がありました。 今回のリリースではnginxをHTTPリクエストを処理するために組み込んだ groonga-httpd コマンドを実験的ではありますが、新たに提供します。 (

2012-02-29 groonga 2.0.0リリース 今日は4年に1度の肉の日ですね。 groonga 2.0.0 をリリースしました！ それぞれの環境毎のインストール方法: インストール 今回のリリースでメジャーバージョンがあがって2.0.0となっています！メジャーバージョンはあがりましたが、データベースのファイル形式は互換性があるのでデータベースを作りなおす必要はありません。 メジャーバージョンアップについて 1.xから2.xにメジャーバージョンがあがったのは今日が特別な日ということもありますが、より安心して使ってもらえることをアピールしたいという意図があります。 1.0.0のリリースは 日本Ruby会議 2010 の最終日である2010/8/29でした。それから約1年半が経ち、継続的な機能拡張・バグフィックスを重ねることで、より広く使ってもらえるようになりました。 すでに利用され

2012-02-17 Count-Min Sketch のライブラリを公開しました written by Susumu Yata. はじめに 先日 groonga プロジェクトでの利用を目的として開発しているライブラリ Madoka を公開しました．Madoka は Count-Min Sketch という手法をライブラリ化したものであり，文書集合に含まれるキーワードの頻度を求める，クエリの頻度を求める，などの用途に使うことができます． s-yata/madoka - GitHub Documentation - Madoka ライブラリの使い方についてはドキュメントに書いてあるので，こちらは Count-Min Sketch と Madoka の特徴をまとめた内容になっています． Count-Min Sketch 頻度を求めることが目的であれば，ハッシュ表による連想配列を使うのが，おそら

これまではリネームしようと思ったら、わりと大変だったのですが、これで簡単にスキーマを試せますね。 MessagePack出力とサジェスト機能を「サポート対象」に変更 1.3.0になったこともあるので、MessagePack出力と サジェスト機能 を「実験的」な扱いから「サポート対象」の扱いにしました。 サジェスト機能は内部的なスキーマをこれから変更する可能性はあるのですが、上記のrenameコマンドで外部からは意識しないで改良していける見通しが経ったので「サポート対象」扱いとしました。 MessagePack出力もサジェスト機能もぜひ使ってみてください。 変更点 1.2.9からの変更点: 1.3.0リリース - 2012/01/29 さいごに それでは、今年もよろしくおねがいします！ リンク ホーム ドキュメント 発表 利用例 関連プロジェクト コミュニティ コントリビュート ロゴ ステッ

1 groonga 位置情報検索 - モーショノロジー #1 - Gurunavi, Inc. 塩畑公一 2012/01/26 2 ■ groonga との歩み その壱  2008年06月 ～ 新規検索システム構築プロジェクト開始  2010年01月 ～ senna 後継検索エンジン、groonga が誕生 商用パッケージからオープンソース化 a. ファセット分類機能 b. 緯度経度範囲検索機能 c. 同義語・類義語指定機能 d. 自動補完(サジェスト)機能 有限会社未来検索ブラジル様協力のもと、各種機能を開発 パフォーマンス向上を目指す 3 ■ groonga との歩み その弐 1. groonga を利用したサービス開始 a. レストラン検索 b. 地図検索 c. 駅検索 d. GPS 検索(モバイル) etc…  2010年04 ～ 現在 リリース後も協力関係を継続し、新規機能

全文検索エンジンgroongaを囲む夕べ 4 - 2013-11-29 全文検索エンジンGroongaを囲む夕べ 4でGroongaと関連製品についてプレゼンテーションしてきました。 Groonga族2013: クリアコードの須藤さん Mroongaの紹介: スパイラルアームの斯波さん Droongaの紹介: 未来検索ブラジルの森さん Grnxxの紹介: 未来検索ブラジルの矢田さん 今回は商用利用に関する発表枠もありました。 Groongaビジネスパートナー募集: クリアコードの南さん Mroongaサポートの紹介: SCSKの池田さん 今年も多くのユーザーさんに発表してもらいました。今年はややMroonga色が濃厚な印象を受けましたね。 TritonnからMroongaへの移行体験記: リブセンスの @yoshi_ken さん Mroonga de fulltextsearch: @yo

Skip to main content Back to top Ctrl+K GitHub Twitter Blog Groonga ドキュメント# お知らせ 1. Groongaの特徴 1.1. Groonga の概要 1.2. 全文検索と即時更新 1.3. カラムストアと集計クエリ 1.4. 転置索引とトークナイザ 1.5. 共有可能なストレージと参照ロックフリー 1.6. 位置情報（緯度・経度）検索 1.7. Groonga ライブラリ 1.8. Groonga サーバ 1.9. Mroonga ストレージエンジン 2. インストール 2.1. Windows 2.1.1. zip 2.1.2. ソースからビルド 2.2. macOS 2.2.1. MacPorts 2.2.2. Homebrew 2.2.3. ソースからビルド 2.3. Debian GNU/Linux 2.3.

grn_dat - 参照ロックフリーなダブル配列 注意: トライやダブル配列に関する知識があっても何のことやらサッパリ分からないかもしれません． written by Susumu Yata. はじめに grn_dat は，キーと ID の関連付けに用いるモジュール grn_pat, grn_hash の新しい仲間です．Common prefix search と Predictive search をサポートしつつ，高速な参照を実現します．その代わり，メモリ消費が大きいという欠点があります．特性を簡単にまとめると以下のようになります． モジュール名 データ構造 検索機能 時間効率 空間効率 grn_pat パトリシアトライ ◎ △ ◎ grn_hash ハッシュ表 △ ◎ ○ grn_dat ダブル配列 ○ ○ △ grn_dat の役割は，grn_pat, grn_hash の隙間を埋

Skip to main content Back to top Ctrl+K GitHub Twitter Blog Groonga ドキュメント# お知らせ 1. Groongaの特徴 1.1. Groonga の概要 1.2. 全文検索と即時更新 1.3. カラムストアと集計クエリ 1.4. 転置索引とトークナイザ 1.5. 共有可能なストレージと参照ロックフリー 1.6. 位置情報（緯度・経度）検索 1.7. Groonga ライブラリ 1.8. Groonga サーバ 1.9. Mroonga ストレージエンジン 2. インストール 2.1. Windows 2.1.1. zip 2.1.2. ソースからビルド 2.2. macOS 2.2.1. MacPorts 2.2.2. Homebrew 2.2.3. ソースからビルド 2.3. Debian GNU/Linux 2.3.

Groongaについて Groongaはオープンソースのカラムストア機能付き全文検索エンジンです。Groongaを使うと全文検索機能付き高性能アプリケーションを開発することができます。 特徴 最新リリース 2024-09-03にリリースされた14.0.7が最新リリースです。 インストール ソース 最新記事 Groonga 14.0.7リリース (2024-09-03) Groonga 14.0.6リリース (2024-07-29) PostgreSQL用高速日本語全文検索モジュールPGroonga（ぴーじーるんが） 3.2.1リリース (2024-07-04) Groonga 14.0.5リリース (2024-07-04) Groonga 14.0.4リリース (2024-05-29) Groonga 14.0.3リリース (2024-05-09) Groonga 14.0.2リリース (

実験結果を見ると，キャッシュヒット率が 90% を超えるくらいに調整したとき，キャッシュに含まれる索引語の割合は全体の 1% にも満たないことが分かります．つまり，空間効率の低いデータ構造をキャッシュとして採用したところで，索引語辞書のサイズにはほとんど影響しません．一方で，時間効率の高いデータ構造を採用すれば，索引構築にかかる時間を大幅に短縮できます． たとえば，キャッシュヒット率を 90% に調整すると，キャッシュが索引語 1 つあたりに必要とするサイズが本体のそれと比べて 5 倍でも，全体の 5% にも満たないということです．また，キャッシュの参照時間が本体の 1/5 になると仮定すれば，キャッシュミスしたときはキャッシュと本体の両方を参照することになるものの，1/5 x 90% + 6/5 * 10% = 30% にまで平均参照時間を短縮できることになります． 索引語辞書の構成はど