Redmineの全文検索を高速化するプラグインfull_text_searchのリンク - プログラマの思索
Redmineの全文検索を高速化するプラグインfull_text_searchが公開されていたのでメモ。 読んでみると、すごくワクワクする。 【参考】 Full text search - Plugins - Redmine Redmineで高速に全文検索する方法 - ククログ(2016-04-11) okkez/redmine_full_text_search: Full text search for Redmine PostgreSQLで日本語全文検索 - LIKEとpg_bigmとPGroonga - ククログ(2015-05-25) Ruby on RailsでMySQLとMroongaを使って日本語全文検索を実現する方法 - ククログ(2015-11-10) Ruby on RailsでPostgreSQLとPGroongaを使って日本語全文検索を実現する方法 - ククログ(2
Redmineで高速に全文検索する方法 - 2016-04-11 - ククログ
Redmineで全文検索するとかなり時間がかかります。 クリアコード社内でもRedmineを使用しており、全文検索が遅いことは以前から問題視していました。 最近Redmineでの全文検索を高速に実行できるようになるプラグインを開発したので紹介します1。 リンク先を見てもらえばわかるとおり、PostgreSQLとMySQL(MariaDB)に対応しています。 それぞれPGroongaとMroongaを使用しています。 このプラグインを使うと、デフォルトの全文検索と比較して以下のメリットがあります。 高速 Ruby on RailsでPostgreSQLとPGroongaを使って日本語全文検索を実現する方法 PostgreSQLで日本語全文検索 - LIKEとpg_bigmとPGroonga Ruby on RailsでMySQLとMroongaを使って日本語全文検索を実現する方法 MySQL
PGroonga（ぴーじーるんが） 1.0.0リリース
PGroonga（ぴーじーるんが） 1.0.0リリース 今日は肉の日ですね！ PostgreSQLからGroongaを使えるようにするPGroongaの1.0.0をリリースしました！最初のメジャーリリースです！ PGroongaについて PGroongaはPostgreSQLを高速に日本語全文検索可能なシステムに拡張する魔法のような拡張機能です。PGroongaの他にも類似の拡張機能はありますが、速度・機能面で他の拡張機能とは一線を画しています。これはPGroongaはバックエンドにGroongaという本格的な全文検索エンジンを使っているためです。 速度面では類似の拡張機能であるpg_bigmよりも高速です。インデックス作成時間、検索時間ともに数倍から10倍以上高速です。 PostgreSQLで日本語全文検索 - LIKEとpg_bigmとPGroonga - ククログ(2015-05-2
pdfをブラウザにドラッグ＆ドロップして全文検索しながら読む - Honyomi1.3 - ブログのおんがえし
Honyomi 1.3 をリリースしました。pdftoppmがインストールされていればドラッグ＆ドロップするだけですぐにインライン閲覧できるようになりました。 割と理想のpdf全文検索アプリになってきたんじゃないかと思います。いちいちpdf本体を開かずに読んだり検索できるので便利です。 デモ 全ての書籍をインライン閲覧できるようにしてあります。 http://honyomi.ongaeshi.me/ 検索したりブックマークを閲覧したり色々お試しください。 インストール Dockerが使える人用にビルド済みコンテナも用意しました。すぐに使えるのでおすすめです。 Docker経由でインストールする 今まで通りgem経由でインストールすることも可能です。 $ gem install honyomi Rroongaのインストールに失敗する場合はこちらを参考にして下さい。 File: install
ハクビシンにもわかる全文検索 - Qiita
高速な全文検索アルゴリズムであるFM-indexについて解説する。理解しがたい点や間違っている点があれば是非コメントで指摘してほしい。 概要 FM-indexはリニアな文字列に対して検索をするアルゴリズムで、主に簡潔データ構造とBWT(およびLF mapping)という二つのアイデアから成り立っている。BWTはBurrows-Wheeler変換のことで、文字列を特殊な並び順に変換するという可逆関数である。BWTされた文字列を簡潔データ構造固有の操作をすることで、クエリ文字列の長さに比例した短い時間で文字列を探し出すのがFM-indexだ。 簡潔データ構造 簡潔データ構造に関してはFM-indexで必要となる二つの関数だけ説明して、詳細は次の機会に譲るとする。さて、二つの関数はともに文字列のある位置より前の部分に含まれている文字の数を数え上げるというものでrank()とrankLessTha
elasticsearchのスコア検索が使えそうだわ
どうも、こんにちは。なかDでございます。 以前書いた記事『いろんなニュースアプリを（想像で）図解してみた』って記事でもふれたんですが、とあるコンテンツを、キュレーションするアルゴリズムを使って配信出来ないかとリサーチ中でございます。 したらば、エンジニアの方々から『elasticsearch.』っていう、新しくて超カッチョイイ全文検索エンジンがあると聞いたわけです。 はじめに参考にしたブログ記事 まずはじめに、こちらのブログを参考にさせていただきました。試しにインストールして実行してみたのですが、とても解りやすいです。ありがとう御座います。 Hello! Elasticsearch. 実践！Elasticsearch elasticsearchとは？ 特徴としては、おおよそこんな感じでしょうか。 ・リアルタイム全文検索エンジン ・リアルタイムアナリティクス ・複数のインデックス ・分散型
Elasticsearchで日本語全文検索をするために、最近見てるもの使ってるもの - mosowave
最近仕事でElasticsearchと戯れています。 Kibanaでログ解析とかする人が多いとおもうのですが、 コンテンツの日本語全文検索用だったりします。 ログ解析の資料は多い（と思う）んですが、 日本語全文検索の文献がすくない＞＜ analyzerチェックのために使うpluginって、inquisitorが王道な感じがするのですが、 個人的にはkopfが神でした。github.com blog.johtani.info 機能が多くてリッチなのもよいのですが、 analyzeAPIを叩いて単語が分割された結果が見れるというのがとてもよい。 (kuromojiをつかっているなら、kuromoji demo - japanese morphological analyzer に入力すれば品詞がわかるので、stoptagsの選定をしたりしました） あとは、参考にさせていただきまくってるブログな
Elasticsearch を使った位置情報検索 - クックパッド開発者ブログ
ホリデー事業室の内藤です。 ホリデー事業室は昨年の4月に発足した部署で、Holiday（https://haveagood.holiday）という新規サービスの開発を行っています。 Holiday とは、クックパッドが長年取り組んでいる「毎日の料理を楽しみにする」分野からは少しだけ離れ、「いつもの休日を楽しくすることで人生を豊かにする」ことを目指したサービスです。 例えばこちらのおでかけプランのように、「〇〇に行くならここも行ったほうがいいよ」や「〇〇を散策するならこのコースだよね」など、おでかけのレシピを投稿したり探すことができるようになっています。 今回は、全文検索エンジン Elasticsearch を使って、全文検索と位置情報を絡めた検索についてお話したいと思います。 本稿で説明する内容は、実際に Holiday の中でも応用を加えた形で使われています。 Holiday では、複数
PostgreSQLの日本語対応全文検索モジュールpg_bigmとPGroongaを検証してみた - CreateField Blog
はじめに 最近、Web系のエンジニアに転職して、Railsをよく触っています。 Rails界隈では、HerokuかActiveRecordの関係かよくわかりませんがPostgreSQLが利用されていることが多いような気がします。 これまで個人的に全文検索のWebサービスを開発するためにGroongaとよく戯れていたのですが、最近はなかなか戯れることができていません。 最近になってRailsとPostgreSQLを触りはじめたという状況ですが、先日、PostgreSQLでGroongaが使えるPGroonga 0.20がリリースされたようです。 PostgreSQLで簡単に日本語対応で高速な全文検索が使えるようになるなんて素晴らしいじゃないですか。 最近はRailsの使い方ばっかり調べていて、若干知識欲が満たされない感があったので、PostgreSQLの知識向上がてら、PGroongaと、P
MroongaでGroongaの機能を使いこなす高度なテーブル設計をする方法 - CreateField Blog
はじめに MySQL/MariaDBで高速に全文検索するためのオープンソースのストレージエンジンMroongaは、以下のように、Engine=Mroonga、FULLTEXT INDEX (${source_column})と書くだけで非常に簡単に全文検索を使い始めることができます。 CREATE TABLE memos ( id INT NOT NULL PRIMARY KEY, content TEXT NOT NULL, FULLTEXT INDEX (content) ) Engine=Mroonga DEFAULT CHARSET=utf8; 検索するときも以下のようにMATCH ... AGAINSTを使うだけです。 mysql> INSERT INTO memos VALUES (1, "1日の消費㌍は約2000㌔㌍"); Query OK, 1 row affected (
作って覚える転置インデックス、「検索エンジン自作入門」 - プログラマでありたい
先行発売で、検索エンジン自作入門を購入しました。まだペラペラと眺めている状況ですが、これが非常に面白いです。 「検索エンジン自作入門」は、集めた文章をいかに整理するかをテーマとして扱っている本です。整理するという意味は、検索エンジンを利用するというライフハック的な意味ではありません。整理する為の検索エンジン自体を自分で作ることで理解するという、極めて硬派な本です。 「検索エンジン自作入門」とは？ 「検索エンジン自作入門」は、未踏IT人材発掘・育成事業にスーパークリエータに認定された山田浩之氏と、Senna/groongaの開発者の末永匡氏の共著です。検索エンジンについて語らせたら、日本でこれ以上の人たちはいないだろうという組み合わせです。ということで、内容は非常に濃いのですが、難しい内容を解りやすく解説されています。 一方で、扱っている内容は非常にマニアックです。下に目次付けておくので見て
SolrとElasticsearchを比べてみよう
SolrとElasticsearchに関して独自の観点で比較してまとめています。 （実際に比較検討が必要な場合は、ご自身で実施されるのが良いと思います）Read less
国産の全文検索エンジンGroongaはRubyから簡単に使うことが出来る - ブログのおんがえし
国産の全文検索エンジンGroonga vs 世界的流行のElasticsearch - CreateField Blog がバズってるうちに(と、いいながらもう数日経ってしまった・・)関連情報を流してみようと思います。 Rroonga Rroongaというgemを使うとRubyから簡単にGroongaの操作(データベースの作成、検索データの追加や削除、クエリーを使って検索など)を行うことが出来ます。 GrnMini 自作のGrnMiniというgemを使うと検索インデックスの作成も含めてさらに簡単に実装することが出来ます。詳しくはリンク先のREADMEをどうぞ。 GrnMiniは内部でRroongaを使っているので以下で両方インストールすることが出来ます。 $ gem install grn_mini GrnMiniの実例 Honyomiの内部で使っているデータベース＆検索エンジンはGrnM
ElasticSearchの運用とか (1) - なんかかきたい
最近のお仕事的なことですが、ElasticSearchの構築・運用を任されるようになりました。 まかされるというか、実際にはいい感じに全文検索ができる仕組みを作って欲しいといういつもの依頼だったんだけども、全く運用の経験の無いプロダクトだったので色々わからないことだらけ。 最近はKibanaと組み合わせて言い感じのグラフを作るのがWeb屋さんの間で流行っているイメージですが、Kibanaを除いたElasticSearchの細かなところに踏み込んだ情報はあまりない感じで（多分感心があまりないのかも）、結局マニュアルを色々読んでわからないところを補完していった感じです。 同じようにElasticSearchを使って検索機能を作っていきたいような人の参考になればいいなー程度にまとめて行こうと思います。そのうち自分でも見直すことになるだろうし。 一応手元にmarkdownでまとめたものもあるんだけ
150行で書ける全文検索エンジン - ブログのおんがえし
Rubyで簡単に全文検索エンジンが作れるGrnMiniを作ったの続きです。 GrnMiniを使って小さな検索エンジンを書いてみました。 全1ファイル、154行です。検索、マッチ個所の表示(スニペット)、ページネーション、ファイル本体の表示など検索エンジンに必要な一通りの機能が入っています。 ↑はあんスマさんの青空文庫のアーカイブをインデックス化して検索している所です。 インストール grn_miniをインストールします。 $ gem install grn_mini sinatraが入っていない人はそちらもインストールします。 $ gem install sinatra grn_mini/samplemini-directory-search.rbを適当な場所にダウンロードします。rawからコピーするのが簡単です。 もしくはgrn_miniをgitチェックアウトしてもよいです。 $ cd
数百GiBの全文検索用データベースをMroongaのストレージモードにしてはまったこと - CreateField Blog
前回は、全文検索Webサービスを作ったときにはまったことの第2回として、 Mroongaのラッパーモードからストレージモードに変えた理由という記事を書きました。 今回は、Mroongaのストレージモードにしたことによってはまったことについて書きたいと思います。 Spiderストレージエンジンを使ったMroongaの分散構成の検討 当初、データベースを複数に分割し、Spiderストレージエンジンを使ってデータベースシャーディングする予定でした。 Spiderストレージエンジンは、ストレージエンジンの種類を問わずデータベースを水平分散させることができるMySQL/Mariadbのストレージエンジンです。 Spiderストレージエンジンは、国産で個人の方が開発されたストレージエンジンでMariaDB10.0系にすでにバンドルされています。 Spiderストレージエンジンの開発者の方は、全文検索M
Mroongaを使って全文検索Webサービスを作ったときにはまったこと(第1回) - CreateField Blog
前回のエントリに書いたように、１年半ほどをかけて、独学で特許の全文検索サービスを開発しました。 PatentField | 無料特許検索 最初は、MySQLを使ったこともない状態だったこともあり、かなり紆余曲折しました。Groonga開発チームの懇切な対応もあって、専用サーバ1台で最大で1千万レコード超、400GiB以上のサイズのテキストデータを高速に検索できるようになりました。 今後、何回かにわけて、Mroonga(Groonga)を使って全文検索Webサービスを作ったときにはまったこと、学んだことを全て書き出したいと思います。 全文検索エンジンMroongaとは？ Mroongaは全文検索エンジンであるGroongaをベースとしたMySQL用のストレージエンジンです。Mroongaは、MySQLが使える人であれば、簡単に高速な全文検索機能が使えます。MariaDB10.0系にもバンドル
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はてなブックマーク全文検索の精度改善
Rubyを使った分散全文検索ミドルウェア - Kouhei Sutou - Rabbit Slide Show
Riak 2.0 における全く新しい体験 スケールアウトする全文検索
