db tech showcase Tokyo 2018 - MySQL・PostgreSQLだけで作る高速あいまい全文検索システム #dbts2018 - 2018-09-20 - ククログ
関連リンク： スライド（Rabbit Slide Show） スライド（SlideShare） リポジトリー 内容 去年は「MySQL・PostgreSQLだけで作る高速でリッチな全文検索システム」というタイトルで話しました。去年はMySQL（Mroonga）・PostgreSQL（PGroonga）で次のことを実現するための具体的なSQLを紹介しました。 全文検索 キーワードハイライト 周辺テキスト表示 入力補完 同義語展開 関連文書の表示 構造化データ（オフィス文書・HTML・PDFなど）対応 今年は「MySQL・PostgreSQLだけで作る高速あいまい全文検索システム」というタイトルで話しました。今年も話の流れは同じにしました。あることを実現する具体的なSQLを紹介するというスタイルです。今年はMySQL（Mroonga）・PostgreSQL（PGroonga）で次のことを実現す
Elastic — The Search AI Company
Search and analytics, data ingestion, and visualization – all at your fingertips.
sunspotのチュートリアル意訳 - maeshimaの日記
インストール solrのインストールはmacなら brew install solr でOK。Rails側はまずGemfileに gem 'sunspot_rails' を書いて bundle install。それから rails g sunspot_rails:install で config/sunspot.yml を作成。 solr のインスタンスを起動 下記の rake タスクで起動できる rake sunspot:solr:start 初回実行時に Rails.root/solr ディレクトリが作成される。ここには Solr の設定とインデックスのデータファイルが置かれる。solr/data は.gitignoreに追加しておいた方がいいかも。Solr の設定いじりたい場合は solr/conf 配下のファイルをほげる。 モデルの設定 下記みたいに searchable メソッド
全文検索エンジンmroonga導入の試行錯誤
yumのremiレポジトリを使って構築してある環境にmroongaを導入しました mroongaはMySQLで全文検索機能する為のエンジンで、MySQLのプラグインとして動作します マニュアルを見てると簡単に入りそうなのですが、既に動いてる環境に入れたのでとても苦労しました 失敗した部分を全部書いてるので非常に長いですが、ご容赦ください まず現在の環境から PHP remi-testを使ってPHP5.4を入れています ~~~ $ yum list installed | grep php* php-cli.x86_64 5.4.0-1.el5.remi installed php-common.x86_64 5.4.0-1.el5.remi installed php-fpm.x86_64 5.4.0-1.el5.remi installed php-gd.x86_64 5.4.0-1.e
RubyでN-gramを計算するメソッド - 働かないプログラマのメモ帳
RubyでN-gramを計算するメソッドを作ったよーって言うメモです。 class String def ngram n characters = self.split(//u) return [self] if characters.size <= n return 0.upto(characters.size-n).collect do |i| characters[i, n].join end end end p "おぎやはぎですけど何か問題でも？".ngram(2) # => ["おぎ", "ぎや", "やは", "はぎ", "ぎで", "です", "すけ", "けど", "ど何", "何か", "か問", "問題", "題で", "でも", "も？"] ideoneで動かした結果 ※ 2012-02-11 12:14 追記 ちょっと改良しました - characters[i..(
Solr, Python, MacBook Air in Shinagawa Seaside
atmarkit.itmedia.co.jp PowerToysで変更できるとの記事があるが試してみてできなかったので インストール不要でキー配置の変更が可能な「Change Key」を使った ついでに「カタカナひらがな」キーもctrlに変更した 満足 git config --global user.email "hoge@gmail.com" git config --global user.name "hoge" cd ~/work/Git git init git status git add HelloWorld.py <- ファイルを指定して監視 git add . <- カレントディレクトリ以下全てのファイルを監視 git commit -m "first commit" git log vi .gitignore <- 追跡しないファイルを書いておく /tmp/ git a
ブクログのパブー（Puboo）で Groonga 本を執筆しました
昨年 10 月頃に AMN 経由で執筆依頼を受けて執筆活動をしました。初執筆と言うことでボツ原稿が溜まるばかりで、なかなか原稿があがらず、第一回目を締め切りを落とし、第二回目の原稿に間に合わせ、その後いろいろと調整ということで、執筆完了してから約3ヶ月後にめでたく販売開始となりました。 電子書籍という形ですが、いつかは、一度は、本を書いてみたいという夢が叶いました。 今回執筆した内容ですが、個人的に注目した groonga という全文検索エンジンを用いて作る検索システムってのが題材です。検索システムの基本的な概念を解説しつつ、僕が昔から使い続けているブログシステム MovableType の検索 CGI を、全文検索エンジン groonga を使って作り直すぞっていう実用的？技術本です。何を隠そう、このブログの検索 CGI で個人的に必要に思って作った経験を汎用化して書籍化しただけです。
groonga 2.0.0リリース
2012-02-29 groonga 2.0.0リリース 今日は4年に1度の肉の日ですね。 groonga 2.0.0 をリリースしました！ それぞれの環境毎のインストール方法: インストール 今回のリリースでメジャーバージョンがあがって2.0.0となっています！メジャーバージョンはあがりましたが、データベースのファイル形式は互換性があるのでデータベースを作りなおす必要はありません。 メジャーバージョンアップについて 1.xから2.xにメジャーバージョンがあがったのは今日が特別な日ということもありますが、より安心して使ってもらえることをアピールしたいという意図があります。 1.0.0のリリースは 日本Ruby会議 2010 の最終日である2010/8/29でした。それから約1年半が経ち、継続的な機能拡張・バグフィックスを重ねることで、より広く使ってもらえるようになりました。 すでに利用され
全文検索システム: Fess - オープンソース全文検索サーバー Fess (フェス)
概要 現在表示されているサイトは旧サイトです。新サイトは http://fess.codelibs.org/ja/ です。 Fess は「5 分で簡単に構築可能な全文検索サーバー」です。Java 実行環境があればどの OS でも実行可能です。Fess は Apache ライセンスで提供され、無料 (フリーソフト) でご利用いただけます。 Seasar2 ベースで構築され、検索エンジン部分には 2 億ドキュメントもインデックス可能と言われる Solr を利用しています。 ドキュメントクロールには S2Robot を利用することで、Web やファイルシステムに対するクロールが可能になり、MS Office 系のドキュメントや zip などの圧縮ファイルも検索対象とすることができます。 特徴 5 分で簡単に構築可能な全文検索サーバー Apache ライセンスで提供 (フリーソフト) OS 非依存
第6回 Solr/Luceneの活用に知っておくべき点
前回までに，Solr/Luceneの概要と簡単な導入検証までを説明しました。Lucene自体はライブラリであることから，これを利用して高度なアプリケーションを独自に実装することも可能ですが、簡単な検索機能であればSolrを利用し、比較的容易に利用できることがお分かりいただけたのではないでしょうか。今回は，導入のための留意点と，周辺のツール類を紹介します。 Solr/Lucene導入の実際 では，導入時の留意点について順に説明してきましょう。 ●インデックス設計 一般的に全文検索エンジンは，プレーンテキストのような非構造化データを効率良く検索するものです。そのため，データを格納するインデックスに対して，データを「ともかく放り込む」といった設計も可能です。 誤解を恐れずにいえば，その考え方自体は大きく間違っていません。しかし，インデックスの構造を充分に設計した方が，より効率の良い効果的な検索機
Fessで作るApache Solrベースの検索サーバー ～ REST API編
はじめに 前回のロールベース検索編では、ユーザーに閲覧権限が必要な環境においてどのようにFessを利用できるかをご紹介しました。今回はFessが提供するREST APIを利用して、クライアントサイド（ブラウザ側）で検索とその結果の表示を行う方法をご紹介します。REST APIを利用することで、既存のウェブシステムにもFessを検索サーバーとして利用して、HTMLだけの変更で組み込むことも可能になります。 本記事ではFess 4.0.0を利用して説明します。Fessの構築方法については導入編を参照してください。 対象読者 既存のウェブシステムに検索機能を加えたい方 Ajaxを利用した検索システムを構築したい方 必要な環境 この記事の内容に関しては次の環境で、動作確認を行っています。 IE 6／7／8 Firefox 3.6 Fessは通常のHTMLによる検索表現以外に、REST APIとして
検索技術を使うなら知ってないと損する6つのこと～クックパッド、グリー、ぐるなび、CROOZは検索技術をどう使っているのか（1/2） - ＠IT
クックパッド、グリー、ぐるなび、CROOZは検索技術を どう使っているのか 有限会社オングス 杉山貴章 2012/2/9 2012年1月26日、CROOZ主催の勉強会「モーショノロジー2012 ＃1」が開催された。今回のテーマは「全文検索」。検索技術の開発や活用に携わる6名の発表者によって、検索エンジンの実装やプロダクトの活用事例などが紹介された。 全文検索の歴史とgroongaの索引構築の実装 ソーシャル連携などに広がるECサイトでの全文検索 KVSの膨大なKeyを見つけるための全文検索 groongaのRuby実装「rroonga」による検索サービス モバイルに欠かせない位置情報検索で使うgroonga レシピ検索のプロトタイピングにApache Solrを使う そもそも、「モーショノロジー」って何？ そもそも、「モーショノロジー」とは何だろうか。総合司会を務めたCROOZの小俣泰明氏
MySQLで日本語の全文検索 by face
MySQLで全文検索するには、 1. カラムに対して全文検索インデックス(FULLTEXT)を張ります 例) ALTER TABLE ‘xoops_table’ ADD FULLTEXT (myindex); 2. insertやupdateすると、自動的にインデックス化されます insert into xoops_table(myindex) values(’This is black ballpen.’); 3. 次に、MATCH … AGAINST 構文を使ったSELECT文で検索します select * from xoops_table where match( myindex ) against( ‘black’ ); こんな感じの処理になります。 LIKE構文を使ったselect文と比較すると、数十倍高速なのです。 ※関連記事の表示でも使用してます ■日本語で検索する場合 上の
ウェブリブログ：サービスは終了しました。
「ウェブリブログ」は 2023年1月31日 をもちましてサービス提供を終了いたしました。 2004年3月のサービス開始より19年近くもの間、沢山の皆さまにご愛用いただきましたことを心よりお礼申し上げます。今後とも、BIGLOBEをご愛顧賜りますよう、よろしくお願い申し上げます。 ※引っ越し先ブログへのリダイレクトサービスは2024年1月31日で終了いたしました。 BIGLOBEのサービス一覧
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - hatena/solr-tutorial: Solrの導入資料です。LAMP構成に特化しています。
#278 Search with Sunspot - RailsCasts
Solr 3.5 リリース！ ということで、リリースノートを日本語訳してみました
MySQLを通じた全文検索エンジンSenna/groongaの利用について
Luceneで遊んでみる
GREE Engineering
