「全文検索エンジンgroongaを囲む夕べ #1」参加メモ - sub usuilog;
参加メモ:http://atnd.org/events/9234 全文検索エンジンgroongaについて 発表者: (有)未来検索ブラジル 末永 匡 a.k.a. グニャラくん 全文検索エンジンSenna 2チャンネル検索のために作った Sennaの特徴(1) 高速なインデックス更新 参照ロックフリーなデータ構造を採用 データ更新時に検索を阻害しない 2chの地震速報板をすぐに検索したい 検索の速報性が重要。Twitterなど TwitterはLuceneを使ってしまってへこんでいる Sennaは全文検索「ライブラリ」 転置インデックスをのみを更新 本文、タイトル、作成者といった文書の情報を持たない 文書情報はMySQLにやらせる Tritonn MySQL + Senna Sennaの利用≒Tritonnの利用 SQLを用いて全文検索ができた。全文検索、並び替え、グループ化、これらの組み
Tritonn(MySQL+Senna)+Mecab+Apahce+PHP5.2(with APC & imagick)をCentOS5にインストールする : akiyan.com
Tritonn(MySQL+Senna)+Mecab+Apahce+PHP5.2(with APC & imagick)をCentOS5にインストールする 2008-09-12 バージョン等の最終更新：2009-10-24 PHPからTritonn(MySQL+Senna)を使うためのセットアップに若干ハマったので、メモ的にエントリー。 Tritonn(MySQL+Senna)だけでPHPからMySQLに接続するときは、Tritonnをソースからインストールしなくてはなりません。というのも、Tritonnプロジェクトではコンパイル済みのrpmをリリースしていますが、このrpmにはmysql-devel的なライブラリが同梱されていません。Tritonnだけをrpmからインストールした場合、PHPの./configure時にlibmysqlclient.soが見つからず、PHPのインストールを
Rubyでgroonga使って全文検索 - ラングバ
ラングバプロジェクト ラングバプロジェクトはカラムストア機能も備える高速・高機能な全文検索エンジンgroongaの機能をRubyから利用するためのライブラリを提供するプロジェクトです。 groongaの機能をRubyらしい読み書きしやすい構文で利用できることが利点です。 Ruby/groonga Ruby/groongaはgroongaのいわゆるDB-APIの層の機能をRubyレベルに提供します。DB-APIの層の上位であるQL-APIの層に相当する機能はActiveGroongaで提供します。 Ruby/groongaの最新リリース 2009-04-30にリリースされた0.0.1が最新です。 Ruby/groongaのインストール RubyGemsでインストールできます。groongaがインストールされていない場合は自動でダウンロード・ビルドし利用します。 % sudo gem inst
MySQL :: MySQL 8.0 リファレンスマニュアル :: 12.10 全文検索関数
MATCH (col1,col2,...) AGAINST (expr [search_modifier]) search_modifier: { IN NATURAL LANGUAGE MODE | IN NATURAL LANGUAGE MODE WITH QUERY EXPANSION | IN BOOLEAN MODE | WITH QUERY EXPANSION } MySQL では、次のような全文インデックス設定および検索がサポートされています。 MySQL の全文インデックスは、型 FULLTEXT のインデックスです。 全文インデックスは、InnoDB または MyISAM テーブルでのみ使用でき、CHAR、VARCHAR、または TEXT カラムにのみ作成できます。 MySQL には、中国語、日本語および韓国語 (CJK) をサポートする組込みの全文 ngram パーサー
Welcome to Apache Solr
Solr is the popular, blazing-fast, open source enterprise search platform built on Apache Lucene™. Learn more about Solr. Solr is highly reliable, scalable and fault tolerant, providing distributed indexing, replication and load-balanced querying, automated failover and recovery, centralized configuration and more. Solr powers the search and navigation features of many of the world's largest inter
全文検索機能をつけたいWebサービスで必ず考慮したい1冊「Apache Solr入門」
100万件以上の規模をデータを扱うWebサービスで、低コストで全文検索エンジンをサイトに組み込みたいと思った時に多く使われているのが、 １．MySQL + Senna ２．Apache Solr ３．Hyper Estraier 他にもあるかもしれませんが、この辺の選択肢なのかと思います。 どれも様々なところでの採用実績があるかと思いますが、今回は、日本でも大規模なデータ量を活用する情報サイトでも活用されている（ことを僕が知っている）、Apache Solrの本をいただいたので紹介してみたいと思います。 Apache SolorはオープンソースでPureJavaで作られている全文検索エンジンです。 サーブレットコンテナ上で動作し、Webサーバなどのクライアントからは、HTTPでリクエスト、レスポンスを処理します。 上記3種類の検索エンジンの違いとしては、Hyper Estraierは使った
Apache Solrを使ってみた。
Apache Solrというのは、Javaベースの検索エンジンシステムです。 「ソーラ」と呼ぶそうです。どうしても覚えられません。 Solr - Wikipedia 実はモバツイッターにも、秘かにツイッターのログ検索なる機能が追加してありまして、モバツイのエゴサーチなどをして、不具合がないかを調べていたりします。 検索エンジンはmysql + sennaを使っているのですが、自分のマシンのスペックよりも、データ量が増えてしまった状態らしく、ヒット数が多い「tinyurl」などの文字列で検索すると、めっさ遅いという状態になってしまいました。 おそらくmysqlの設定などはまだまだ余地があるんでしょう、と、いろいろ工夫しようとしたのですが、どうせならsenna以外も使えるようになりたいなぁと思って、こちらのtwitter検索で使われているSolrってのがあるというお話を聞いたので、Java久々
Tritonnプロジェクト MySQL Sennaによる全文検索 〜
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
Trittonを利用した複数テーブル＆カラム全文検索設計
設計条件 本設計を行う際、以下のような条件がありました。 ・全文検索はTritonnのみで実施。HyperEstraier等の外部検索エンジンは使用しない。 ・対象となるカラムを一度に全文検索対象とする。 ・検索結果は日記単位のリストで出力する。 ・検索速度はかなり重要とされた。 Tritonnを使用する上での問題点 ここで困ったのはTritonnでは全文検索を行うテーブルはMyISAMで作成する必要があるということです。 MyISAMではトランザクションを使用することが出来ないので、頻繁に更新がある日記テーブルやコメントテーブルには あまり使用したくありません。 また、トランザクションを使えないためユニットテストを書きづらいという弊害もあります。 ■ 設計案 前提条件を踏まえて実現するに当たり、以下の4案を考えました。 案１：各検索対象テーブルをMyISAMで作る＆Joinして検索 メリ
i-revo お客様サポート 重要なお知らせ
i-revo お客様サポート 重要なお知らせ i-revoマイポータル終了のお知らせ（2017年3月31日） 日頃よりi-revoマイポータルをご愛顧いただき誠にありがとうございます。 このたび、当サイトは2017年3月31日付けにてサービスを終了いたしました。 併せて「プニマル」、「i-revo 占い」についてもサービスを終了いたしました。 2006年3月のサービス開始以来、 お客様および関係各社の皆様にはさまざまに、ご協力をいただきました。 ここに御礼申し上げます。 i-revoマイポータルのサービス終了につきまして、なにとぞご理解いただきたく存じます。 今後とも「i-revo」をよろしくお願い申し上げます。 全て見る
“最適な”全文検索システムの選択 （1/2）－ ＠IT
第5回 “最適な”全文検索システムの選択 水谷 裕生 株式会社Cuon 2009/3/27 Rubyを使った大規模エンタープライズ開発が始まっている。Ruby on Railsでの開発において、インフラやアプリケーションアーキテクチャをどのように構成すべきかを考える（編集部） システムを構築するうえで、アーキテクチャの選択は非常に難しい問題である。 プラットホームはWindowsにするのか、Linuxにするのか。Linuxであれば、CentOSなのか、それともUbuntuなのか。また、開発言語はRubyがいいのか、PHPがいいのか。そして最後には、それらをどう組み合わせていくのかなどなど。 どれが正解なのかは、実際に経験したり、運用したりしてみなくては分からないものだ。しかし、実際の現場では経験がなくても、いろいろと調査したり、実際に試したりしてみて判断をしなくてはいけない場面が存在する。
全文検索を実装したソースコードを読もう （1/4）－ ＠IT
第6回 全文検索を実装したソースコードを読もう 倉貫 義人 松村 章弘 TIS株式会社 SonicGarden 2009/9/3 優れたプログラマはコードを書くのと同じくらい、コードを読みこなせなくてはならない。優れたコードを読むことで、自身のスキルも上達するのだ（編集部） いよいよオープンソースの社内SNS「SKIP」を使ったコードリーディングも最終回となりました。Railsの基本的な構成から、テストコードやRSpecの書き方といった内容に加え、前回はOpenIDをRailsで活用する応用編まで、コードとともに学んできました。 最終回となる今回は、SKIPの目玉機能の1つである全文検索を扱います。最終回にふさわしく、内容も高度なものになっていますが、ここまでおつきあいいただいた読者の皆さまであれば、十分に理解できる内容だと思います。 SKIPにおける全文検索機能では、任意の検索キーワード
[pdf]Railsアプリケーション開発者のためのSolr入門 株式会社ロンウイット
Rails Solr Solr 1.2 rel 1.0 • Rails Solr • Apache Solr 1.2 • Goal/Non-Goal • Goal – Apache Solr 1.2 Solr – Solr – Solr – Solr – Solr • Non-Goal – Solr – Solr – Solr Solr – 1. • • 2. Solr • Solr • Solr • Solr 3. example • example • example • • solr-ruby 4. • schema.xml • ANALYSIS 5. Rails • Rails • – – – UNIX grep SQL like • – – Solr Namazu Senna Google Yahoo! ID a) b) c) AND “ AND • • • • • • •UNI
Railsで全文検索(search_do)＋ページ処理(will_paginate) - このブログは証明できない。
Railsで全文検索した結果をページ処理する方法です。 Hper Estraierを使った全文検索をサポートするsearch_doプラグイン。 Railsの全文検索にはacts_as_searchableじゃなくてsearch_do - このブログは証明できない。 Railsの全文検索は、Hyper Estraierとsearch_doプラグインで超簡単 - このブログは証明できない。 ページ処理を行うwill_paginateプラグイン。 will_paginateでRailsのページ処理 - このブログは証明できない。 これを組み合わせるにはどうすればいいのでしょうか。実は簡単。will_paginateがうまいこと設計されています。 @entries = Entry.paginate params[:keyword], :page => params[:page], :per_pag
ウノウラボ Unoh Labs: Tips for HyperEstraier
先月、VX Revolution VX-Rを購入して、その使い心地の良さに素直に感動しているbokkoです。 HyperEstraier HyperEstraierは平林幹雄さんが開発されている全文検索エンジンです。全文検索エンジンとして使えるのはもちろん、全文検索のためのライブラリとして使うこともできます。ウノウではHyperEstraier(以下HE)をフォト蔵の写真検索に利用しています。 今回はHEの活用や運用に関するTipsについて紹介します。 インデックスの作成 HEのインデックスを作成する方法はいくつかありますが、単にデータが空のインデックスを作るのであれば以下で十分です。 $ estcmd create idx 実際には想定されるインデックスのサイズなどに応じてオプションを追加するといったことが必要になるでしょう。ファイルやディレクトリ(内のファイル)をインデックスに追加する
Rails 2.0 » will_paginate + acts_as_searchableで全文検索＋ページネーション
Archives 2008年 5月 2008年 4月 2008年 3月 Category Amazon (2) Tips (7) Web API (1) Webサイト (1) エディタ (1) オープンソース (1) プラグイン (6) ホスティング/サーバ (1) 開発 (6) Meta ログイン RSS コメント RSS Valid XHTML XFN WP リンク MOONGIFT Open Service Cool Coding MOONGIFTブログ Resident of Net Rails2.0からページネーションがプラグインベースになりました。普通のページネーションであれば、 @memos = @user.memos.paginate(:page => params[:page], :per_page => 10, :order=>”memos.id D
An open-source fulltext search engine and column store
About Groonga Groonga is an open-source fulltext search engine and column store. It lets you write high-performance applications that requires fulltext search. Characteristic The latest release 14.0.7 is the latest release. It had been released at 2024-09-03. Install Source The latest posts Groonga 14.0.7 has been released (2024-09-03) Groonga 14.0.6 has been released (2024-07-29) PGroonga (fast f
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQLで全文検索 - FULLTEXTインデックスの基礎知識｜blog｜たたみラボ
RailsアプリからSolrを使う全文検索のデモ | 関口宏司のLuceneブログ
Proxima Fermata