Octopress/JekyllでGroongaによる類似文書検索機能を使う
Groonga 2.0.2から類似文書検索機能が使えるようになった。GroongaのRubyバインディングであるRroongaでは2.0.3で同機能への対応がなされている。 Groongaレベルではselect ... --filter カラム名 *S "テキスト"により類似文書検索ができる。このときに指定するカラムは全文検索できるようインデックスを作っておかなければならない。 Rroongaからの使い方は以下のようになる。(Article.bodyに抽出対象のテキストがあるとする。) records = Groonga['Article'].select do |record| record.body.similar_search(article_body) end records.sort([ {key: '_score', order: 'descending'}, ], limit
Groongaを使ったRubyアプリを簡単に配布するためのDocker Rroongaを作った - おんがえしの blog
Rroonga(GroongaをRubyから簡単に使えるライブラリ)を使ったWebアプリケーションを簡単にDockerコンテナとして配布できるようにするために、DockerHubにgroonga/rroongaをおきました。Honyomi 1.5ですでに使われています。 使い方 DockerファイルのFROMにgoonga/rroongaを指定するだけです。 FROM groonga/rroonga:latest # Add your setting docker-honyomiのDockerfileを読むとなんとなく何をやれば良いか分かるのではないかと思います。 Dockerコンテナを使ってRroongaチュートリアルを実行する Dockerコンテナの使い道はこれだけではありません。File: tutorial — rroonga - ラングバを自身の環境を汚さず安全に試すことができます
Groonga（Rroonga）利用事例：CrowdWorks Directory（社員名簿＋日報システム）
2014-12-04 Groonga（Rroonga）利用事例：CrowdWorks Directory（社員名簿＋日報システム） Groonga（Rroonga）の利用事例を紹介します。 日本最大級のクラウドソーシングサービスであるCrowdWorksの社内システムCrowdWorks DirectoryでGroongaを使っているとのことです。CrowdWorks Directoryは社員名簿＋日報システムでRubyで実装しているとのことです。RubyにはRroongaというRubyらしいAPIでGroongaを使えるライブラリーがありますが、それを使っているとのことです。 CrowdWorksのCTOである大場さんからコメントをもらったので紹介します。 社員情報と日報の全文検索エンジンとして利用しています。会社の成長にともなって人が増えるなかで毎日提出される日報を高速に検索できていま
Honyomi 1.0 リリース - ブックマーク＆コメント、Web上で本の情報を編集、便利な検索クエリ (デモもあるよ！) - おんがえしの blog
Honyomiは電子書籍(pdf)の検索エンジンとWebアプリです。手元にある大量のpdfをコマンドラインから登録し、ブラウザ経由で簡単に検索することが出来ます。 前回リリースの0.2から大きくジャンプアップして初のメジャーリリースとなります。欲しかった機能が一通り入った感じがしたので1.0リリースとなりました。 ブックマーク＆コメント Web上で本の情報を編集 便利な検索クエリ その他、全体的な使い勝手の改善 デモ 以下のページを立ち上げました。 本読みの図書館 再配布可能な電子書籍を集めて(置いてある書籍はどれも「これ無料で配布していいの？」って位クオリティが高いです ) 全文検索出来るようにしました。 Honyomiを使うとまったく同じ環境を手持ちのpdfをソースにして構築することが出来ます。 ブックマーク＆コメント 気になったページにブックマーク＆コメントを付けられるようになりまし
Groonga(Rroonga)で検索時に特定カラムに重みを付けたい - おんがえしの blog
例えばあるテーブルに title(タイトル), content(本文), comment(コメント) カラムがあって タイトルには20倍 本文には10倍 の重みを付けたい場合は以下のようにする。 grn.select do |record| record.match("aaa") do |target| (target.title * 20) | (target.content * 10) end end "aaa"の所は検索クエリを指定する。 これでタイトルや本文に"aaa"が含まれる要素が検索結果の上位に表示されるようになる。 参考: [groonga-dev,02944] Rroongaで検索時に特定カラムに重みを付けたい
PassengerでRroongaを使ったWebアプリケーションを動かすときにチューニングのコツ - 2014-08-26 - ククログ
RroongaはSQLite3のような手軽さで使えるRuby用の全文検索ライブラリーです。Webアプリケーションに全文検索機能をつけたいときにも便利です。Rubyのリファレンスマニュアルの検索サービスであるるりまサーチもRroongaを使っています。 そんなRroongaをPassengerで動かすときのチューニング方法を紹介します。チューニングすることにより少ないリソースでも高速に動作するようになります。例として、docs.ruby-lang.orgにデプロイされている、るりまサーチを使います。 環境 docs.ruby-lang.orgの環境は次の通りです。 OS: CentOS 6 （/proc/cpuinfoで見える）CPU: Intel(R) Xeon(R) CPU L5630 @ 2.13GHz （/proc/cpuinfoで見える）CPU数: 2つ メモリー: 1GB スワッ
HerokuでRroongaを使う方法 - 2014-05-28 - ククログ
RubyやRailsも使えるPaaSであるHerokuでRroongaを使えるようにしました。これにより、高速な全文検索機能を提供するRubyによるWebアプリケーションをHeroku上で動かすことができるようになりました。 ここでは、HerokuでRroongaを使う方法と、どのように動いているかを簡単に説明します。 サンプルアプリケーション Heroku上でRroongaを使えることを示すサンプルアプリケーションとして、Rroongaで全文検索できるブログを作成しました。 Heroku上で動いているアプリケーション ソースコード Railsでscaffoldしたものに、全文検索関連の機能を追加して見た目を整えた1だけの簡単なアプリケーションです。 全文検索機能はページ上部の検索ボックスにキーワードを入力してサブミットすると確認できます。キーワードにマッチするとキーワードがハイライトする
Groongaでの可変長データの管理方法 - 2014-03-13 - ククログ
Groongaには可変長データを削除・更新しつづけるとデータベースのサイズが大きくなり続けてしまうという問題があります。次回のリリースではこの問題が解消される見込みで、現在、ユーザーにテストをお願いしています。（詳細は[groonga-dev,02173] データベース肥大化に悩むみなさんへテストのお願いを参照。） ここでは、Groongaがどうやって可変長データを管理していて、どのようにして肥大化を抑えるようにしたかを説明します。 前提 Groongaは新しい鮮度のよい情報をすぐに検索できることを重視しています。そのため、データ更新時も検索性能を落とさないことを重視した設計になっています。具体的には参照ロックフリーという性質を実現しています。 参照ロックフリーとはデータを更新している最中でもデータを読み込める性質のことです。この性質のおかげでデータ更新中でもデータを参照できるため、検索処
RubyとGrnMiniを使ってレストラン検索を作ってみた - おんがえしの blog
Elasticsearchチュートリアル - 不可視点で紹介されていたlivedoorグルメの研究用データセットとGrnMini 0.4.0を使ってGroongaベースの簡単なレストラン検索を作ってみました。 ソースコードもとても短い(153行)ので簡単な検索エンジンを作ってみたい人は参考になるのではないかと思います。 ソースコード grn_mini_samples/restaurants.rb 使い方 http://blog.livedoor.jp/techblog/archives/65836960.html から研究用データをダウンロード ldgourmet.tar.gz を展開 データベースの作成 検索 データベースの作成 展開した ldgourmet.tar.gz を指定して実行します。しばらく時間がかかります。 $ ruby restaurants.rb /path/to/ld
GrnMiniでテーブルを連携させてTwitterぽいものが作れるように - おんがえしの blog
続き を書きました。 今まではデータベース1つにつき1つのテーブルしか持つことが出来ませんでした。0.4では複数のテーブルを作ったりテーブル間を連携させて複雑なデータ構造を作れるようになりました。 いよいよカラムデータベースの本領発揮です。 GrnMini 0.4.0 の特徴 https://github.com/ongaeshi/grn_mini 複数テーブルの作成 テーブル間の参照を可能に Hash型をサポート インストール $ gem install grn_mini 複数テーブルの作成 GrnMini::Array.new(name) でテーブル名を指定します。デフォルトは"Array"です。 データベースの作成には GrnMini.create_or_open(name) を使うようになりました。 require 'grn_mini' # データベース "test.db" を作成
150行で書ける全文検索エンジン - おんがえしの blog
Rubyで簡単に全文検索エンジンが作れるGrnMiniを作ったの続きです。 GrnMiniを使って小さな検索エンジンを書いてみました。 全1ファイル、154行です。検索、マッチ個所の表示(スニペット)、ページネーション、ファイル本体の表示など検索エンジンに必要な一通りの機能が入っています。 ↑はあんスマさんの青空文庫のアーカイブをインデックス化して検索している所です。 インストール grn_miniをインストールします。 $ gem install grn_mini sinatraが入っていない人はそちらもインストールします。 $ gem install sinatra grn_mini/samplemini-directory-search.rbを適当な場所にダウンロードします。rawからコピーするのが簡単です。 もしくはgrn_miniをgitチェックアウトしてもよいです。 $ cd
ファイル名検索を高速化するためにRubyとGroonga（Rroonga）を使った話（Windows対応） - Qiita
ただし、ファイルが増えてファイルパスが深くなると、フォルダー階層を行ったり来たりするのでどんどん遅くなります。 この問題を解決するために、RubyとGroonga（Rroonga）を使ってみました。 オブジェクト指向スクリプト言語 Ruby Groonga - カラムストア機能付き全文検索エンジン RubyでGroonga使って全文検索 - ラングバ アウトプットした方が身に付きそうなので、チュートリアル形式で書いてみます。 進め方はRroongaのチュートリアルを参考にしました。 RubyとGroongaを使ったファイル名検索のチュートリアル Rubyのインストール 前提条件は、Rubyというプログラミング言語を実行できる環境がインストールされていることです。 インストールされていない場合は、以下のリンク先などから最新版をダウンロードしてインストールします。 RubyInstaller
mrubyソースコード検索を作りました - おんがえしの blog
http://mrubysearch.ongaeshi.me/ RubyKokubanを作るにあたってmrubyのソースやmgem(mrubyのRubyGemsみたいなやつ)に登録されたソースコードを簡単に読めるようにしたいなあ、と思い作ってみました。 一日一回レポジトリを最新に更新してインデックスの再構築を行っています。新しいmgemが追加された時は今の所手動で対応しています(そのうち自動化したい所です)。 自分が追加した(もしくは検索したい)mgemが追加されていない！って人はリクエスト頂ければ追加するので教えて下さい。 mgemじゃなくてもmrubyに関係がありそうなソースコードでしたら追加しますので是非。 ※ 個人サイトのため突然停止したりするかもしれません、ご了承下さい。 使い方の例1 - "!"付きのメソッドはどうやってバインドするの？ 例えばgsub!のような!マークのついた
Milkode 1.2 リリース : ファイル名のマッチ個所に色づけ、ctags連携、~/.gitignoreのサポート - おんがえしの blog
ファイル名のマッチ個所に色づけ ctagsとの連携 ~/.gitignoreのサポート milk update時にignore対象をデータベースから削除 インストール $ gem install milkode ダウンロード, Gems ファイル名のマッチ個所に色づけ ファイル名のマッチ箇所がハイライトされて分かりやすくなりました。(↑画像) 他にも同じファイルで複数箇所にマッチした時はまとめたりとwebアプリの使い勝手を改善しました。 ctagsとの連携 milk update と一緒にタグファイルを作成出来るようになりました。 # パッケージ単位で設定可能 $ cd /path/to/package # milk update と一緒に'ctags -R' $ milk config update_with_ctags true # milk update と一緒に'ctags -R
第5回 Rubyでサーバ要らずの高速全文検索！ - rroongaの紹介 | gihyo.jp
前回のMilkodeでの事例紹介では、Rubyでrroongaを使ってソースコード検索エンジンを実装している事例を紹介しました。Milkodeは全文検索エンジンを組み込むことにより、大量のファイルに対しても高速な検索を実現しています。rroongaを使った代表的なアプリケーションの1つです。プログラマにとってとても便利なアプリケーションなので、ぜひ使ってみてください。 前回はユーザ視点からのrroongaの紹介でしたが、今回は違った角度から紹介します。rroongaの歴史、大事にしていることについて説明します。 自分のアプリケーションで利用するプロダクトを検討するときに、プロダクトがどのような方向で作られているかを考慮していますか？ 自分のアプリケーションが大事にしたいことをそのプロダクトでも大事にしているなら、相性がよいかもしれません。さて、rroongaはあなたが大事にしたいことを大事
gihyo.jpに記事を書いた時の感想 - おんがえしの blog
忘れないうちにメモ。宣伝も兼ねてます(ぼそっ) 第4回 rroongaを使ったソースコード検索エンジンMilkode：隔週連載groonga｜gihyo.jp … 技術評論社 隔週groongaの連載第4回です。今回はMilkodeが内部で使っているrroongaについて紹介しています。 勉強会で発表したりアドベントカレンダーに参加はしたことはあったのですが、出版者さんのサイトに記事を書くのははじめてだったので色々と新鮮でした。Milkodeとrroongaの関係についてはリンク先を読んでもらうとして、以下は記事を書いた時の感想など。 校正 いつもは一人で書いているので忘れがちですが、他の人に校正してもらうと文章はぐっとよくなります。 誤字脱字やゆらぎの修正はもちろんのこと、伝えたいことをより伝えやすくするための段落の入れ替えなど、編集の方の手にかかるとどんどん分かりやすくなっていくのは勉
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
HOKI123 ` Dengan Modal Kecil Bisa Dapat Hasil Yang Lumayan
Rroongaとスレッドプログラミング - Qiita
全文検索エンジンGroonga - Qiita Advent Calendar 2013 - Qiita
ドメインパーキング