File: README — Documentation by YARD 0.7.3
Sunspot Sunspot is a Ruby library for expressive, powerful interaction with the Solr search engine. Sunspot is built on top of the RSolr library, which provides a low-level interface for Solr interaction; Sunspot provides a simple, intuitive, expressive DSL backed by powerful features for indexing objects and searching for them. Sunspot is designed to be easily plugged in to any ORM, or even non-d
Rails3.2 tire を使って、Elasticsearch を使うまでの道のり | JAM☆ぱん
一定期間更新がないため広告を表示しています
悟空、秘剣「転置インデックス」を手に入れる
「大量の文書を検索する」ことについて、最近のパソコンには人間をはるかに上回る性能があります。しかし、検索対象がパソコンの外側の世界になると、どんなに高性能なパソコンでも歯が立ちません。でも、ふだん私たちが利用しているGoogleなどのWeb検索エンジンは、検索キーワードをボックスに入力してから1秒足らずで検索結果を返してくれます。もしGoogleの検索が1分以上かかっていたらどうでしょうか？ 検索結果を待つのにイライラしてしまい、そのうち使わなくなってしまうかもしれませんね。 文書をキーワードで検索する能力で、私たち人間はパソコンの足元にも及びません。たとえば、何かの本で「自然言語」というキーワードが使われているページを全部探すとしたらどうでしょうか。その本を1ページずつめくって「自然言語」という文字列を血眼になって探しても、おそらく何十分もかかることでしょう。そのうち疲れてきて、見落とし
Ruby on Rails + MySQL で全文検索 - ドワンゴ 研究開発ブログ
このエントリでは Ruby on Rails と MySQL を使って日本語の全文検索を行う方法を記述する。Ruby on Rails のバージョンは 2.0.2、MySQL のバージョンは 5.0.67、Tritonn のバージョンは 1.0.12、Hyper Estraier のバージョンは 1.4.10 を使用した。サンプルの文章データとして、あらゆる日本人にとって極めて身近な著作権切れ文章である『ドグラ・マグラ』と『黒死館殺人事件』を利用した。処理のために整形したデータは本エントリに添付しておく。またデータベースへアクセスするコードではマイグレーションを除きできるだけベンチマークを取るようにし、その結果は本エントリの最後に記載する。 ページネーション Rails でページネーションを実現する will_paginate という plugin は ActiveRecord に標準でつ
すべてのMySQLユーザーに高速な全文検索機能を！ - OSC2011.DB用資料 - 2011-11-07 - ククログ
オープンソースカンファレンス2011 DBのOSSDB MySQLセッションでgroongaストレージエンジンについて紹介してきました。 内容はgroongaストレージエンジンが得意なシチュエーションについてベンチマークデータを紹介するというものです。どういうときにgroongaストレージエンジンが高速に動作するかがわかります。 groongaストレージエンジンが得意なシチュエーション groongaストレージエンジンは以下のような処理が得意です。 全文検索 位置情報検索 リアルタイム更新 groongaストレージエンジンの性能特性を紹介するためにベンチマークデータを紹介しました。ベンチマークはこれらの得意な処理を実行するシチュエーション向けに複数のパターンで行いました。 高速な全文検索 groongaの全文検索処理の性能を示すためにtwitterから取得したデータを利用しました。測定する
InnoDB純正の全文検索エンジンInnoDB FTS
2011-07-28 InnoDB純正の全文検索エンジンInnoDB FTS つい先日、MySQL-5.6.3-labs版がリリースがされました。この中にはInnoDBで動作する全文検索エンジン"InnoDB FTS"が含まれています。これまでは、MySQLとInnoDBの組み合わせで全文検索を行うためにはサードパーティの製品(mroonga 等..)が必要でしたが、これでズバっと選択肢が広がることになります。しかもInnoDBの開発チームが自ら開発した"純正の"エンジンということですから、これは大きな期待が持てます。 いったいどのような製品に仕上がっているのか、ざっくり記事やソースを読んで得た感触を述べてみたいと思います。 written by daijiro.mori どんなエンジンか? エンジンの概要については、 Overview and Getting Started with I
転置インデックスで学ぶ検索エンジンの中身アプリ - シリコンの谷のゾンビ
学生の頃から情報検索っぽい研究をやっていたくせに，転置インデックスてこんなものなんだ，ということを知るまで検索エンジンが正直怖かった．転置インデックスの概要を理解したら急に甘く見はじめるようになった（それはそれでいかんのだけど）． 位置情報を持たせたり，転置インデックスの圧縮をした状態で説明されると急にアッーてなるけれど，一番単純な例を見るとすぐに理解できる． というわけで転置インデックスってこんな感じなんですよー．という一例を体験するプログラムをつくってみた．またJavaScript+TinySegmenter．工藤様毎度ありがとうございます． Text search indexing demo - 転置インデックスで学ぶ検索エンジンの中身アプリ これを見ると，転置インデックスって基本的にこういう構造でデータを持つのかということが納得できると思います．Termをkey，Posting l
[を] 転置インデックスによる検索システムを作ってみよう！
転置インデックスによる検索システムを作ってみよう！ 2007-11-26-5 [Algorithm][Programming] 転置インデックス[2007-06-17-6]による検索システムの実装は パフォーマンスを無視すれば意外と簡単です。 それを示すために Perl で簡単な検索システムを作ってみました。 検索方式は転置インデックス(Inverted Index)、 ランキングには TF-IDF[2005-10-12-1] を用いました。 検索対象ファイルは一行一記事で以下のフォーマットとします。 [記事ID][SPC][記事内容]\n 記事IDは数字、記事内容は UTF-8 の文字で構成されるものとします。 以下のようなサンプル test.txt を用意しました。 1 これはペンです 2 最近はどうですか？ 3 ペンギン大好き 4 こんにちは。いかがおすごしですか？ 5 ここ最近疲れ
![[を] 転置インデックスによる検索システムを作ってみよう！](https://cdn-ak-scissors.b.st-hatena.com/image/square/1e157382c8dcd1cd77072febfd90a7671ec124fd/height=288;version=1;width=512/https%3A%2F%2Fchalow.net%2Fimages%2Ftcl-logo.png){kind=logo}
転置インデックスを実装しよう - mixi engineer blog
相対性理論のボーカルが頭から離れないmikioです。熱いわっふるの声に応えて今回はTokyo Cabinetのテーブルデータベースにおける検索機能の実装について語ってみたいと思います。とても長いのですが、最後まで読んだあかつきには、自分でも全文検索エンジンを作れると思っていただければ嬉しいです。 デモ モチベーションをあげていただくために、100行のソースコードで検索UIのデモを作ってみました。Java 6の日本語文書を対象としているので、「stringbuffer」とか「コンパイル」とか「倍精度浮動小数」とかそれっぽい用語で検索してみてください。 インデックスがちゃんとできていれば、たった100行で某検索エンジン風味の検索機能をあなたのデータを対象にして動かすことができます。ソースコードはこちら（テンプレートはこちら）です。 でも、今回はUIの話ではないのです。ものすごく地味に、全文検索
転置インデックス - Wikipedia
転置インデックス（てんちインデックス、Inverted index）とは、全文検索を行う対象となる文書群から単語の位置情報を格納するための索引構造をいう。転置索引、転置ファイル、逆引き索引などとも呼ばれる。 概要[編集] 情報処理テクノロジにおける転置インデックスとは、単語や数字といった内容から、それが含まれているデータベースやドキュメント群へのマッピングを保持するという、インデックス型データ構造である。ドキュメント群へのマッピングの場合、検索エンジンが実現される。転置インデックスファイルは、インデックスというよりはデータベースと呼んだほうがふさわしい場合もある。また、検索キーが単語（文字列）であり、連想配列の値が位置情報である場合、ハッシュテーブルの形態を取ることもある。 転置インデックスには大きく分けて2通りの手法がある。レコード単位転置インデックス（record level inve
MySQL InnoDBだけで全文検索 - SH2の日記
実験エントリです。 予習してみる 「転置インデックス」というキーワードで検索して、しばらく勉強してみます。 転置インデックス - Wikipedia mixi Engineers’ Blog » 転置インデックスを実装しよう ASCII.jp：悟空、秘剣「転置インデックス」を手に入れる ｜Googleはなぜ的確に探せるのか？ [を] 転置インデックスによる検索システムを作ってみよう！ 転置インデックスで学ぶ検索エンジンの中身アプリ - 睡眠不足？！ うーんなるほど。分かったような分からないような。 作ってみる とりあえず、Twitter4Jを使ってこんなデータを用意しました。ちなみに人選は漢(オトコ)のコンピュータ道: MySQLerのTwitterアカウントまとめ。を参考にさせていただきました。 5707049458,2009-11-14 20:28:34,sakaik,@hbstudy
全文検索機能を試すサンプルを作成しよう！
Hibernate Searchのサンプルプログラム 今回は早速、Hibernate Searchを使ったプログラムを作成してみよう。 作成するプログラムはある会社で使われる社員検索システムとする。このシステムでは、社員が相互に趣味や得意分野などの「タグ」をつけられるように なっており、検索時は「タグ」で社員を検索できるようにする、というものである。また今回のサンプルアプリケーションでは、アプリケーションサーバを利用 せずにスタンドアロンのJavaアプリケーションとして実装している。 このシステムでは図1のようなEmployeeクラスを用いることとし、永続化はJBoss Hibernateを通じてEMPLOYEEテーブルに行うものとする。 以降では、プログラムコードの一部を掲載しながら説明してく。プログラムの全体および必要なライブラリは下記のWebサイトにある「Think IT記事」の「H
全文検索サーバ: これからSolrを始める人のためのApache Solr概要と便利な情報リスト集
はじめまして。 プロダクト&サービス事業部 リーダーの久保です。 今日は、当社で利用しているOSSの全文検索アプリケーションであるApache Solrについてご紹介したいと思います。 GoogleでSolrを検索しても、日本語圏のコンテンツはまだまだ少ないようです。 当社がSolrを使い始めた昨年は現在よりもさらに少なく、結構苦労しました。 今回はやや雑多な内容となりますが、新しくSolrを使う際に必要と考えられる情報をまとめてみました。 本エントリーでは、Solr1.3を対象としています。 Solr1.3が現在の安定版で、Solr1.4-devが開発版となります。 目次 Solrとは 機能一覧 実績/事例 Solrを使ったシステムの開発方法 おすすめする方 データ量/性能とハードウェア マルチコア構成 様々な検索 スケールアウト 検索と更新 Solrを始めるための情報リスト 全
Fessで作るApache Solrベースの検索サーバー ～ REST API編
はじめに 前回のロールベース検索編では、ユーザーに閲覧権限が必要な環境においてどのようにFessを利用できるかをご紹介しました。今回はFessが提供するREST APIを利用して、クライアントサイド（ブラウザ側）で検索とその結果の表示を行う方法をご紹介します。REST APIを利用することで、既存のウェブシステムにもFessを検索サーバーとして利用して、HTMLだけの変更で組み込むことも可能になります。 本記事ではFess 4.0.0を利用して説明します。Fessの構築方法については導入編を参照してください。 対象読者 既存のウェブシステムに検索機能を加えたい方 Ajaxを利用した検索システムを構築したい方 必要な環境 この記事の内容に関しては次の環境で、動作確認を行っています。 IE 6／7／8 Firefox 3.6 Fessは通常のHTMLによる検索表現以外に、REST APIとして
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RailsアプリケーションでSolrの検索を実行する方法
Senna 使って、夜の動画検索サイト「sugokuii beta」を作ってみた - ゆーすけべー日記
rottel.net
http://atnd.org/events/23608
http://atnd.org/events/22329
http://atnd.org/events/20446