Integrating BM25 & BM25F into Lucene1
Integrating BM25 & BM25F into Lucene Joaquín Pérez-Iglesias Introduction This document describes the BM25 and BM25F implementation using the Lucene Java Framework. The implementation described here can be downloaded from http://nlp.uned.es/~jperezi/Lucene-BM25/jar/models.jar. Both models have stood out at TREC by their performance and are considered as state-of-the-art in the IR community. BM25 i
Solr Boot Camp Instructor: Erik Hatcher erik.hatcher@lucidimagination.com 1Wednesday, November 5, 2008 Prerequisites • Solr 1.3 (and Java5) • These slides • Web browser open to: http://wiki.apache.org/solr 2Wednesday, November 5, 2008 Solr Story 3W
Solr Boot Camp Instructor: Erik Hatcher erik.hatcher@lucidimagination.com 1Wednesday, November 5, 2008 Prerequisites • Solr 1.3 (and Java5) • These slides • Web browser open to: http://wiki.apache.org/solr 2Wednesday, November 5, 2008 Solr Story 3Wednesday, November 5, 2008 • Created byYonik Seeley for CNET • Contributed to Apache in January 2006 • December 2006:Version 1.1 released • June 2007:V
Local Lucene Geographical Search
by Patrick O'Leary (pjaol at pjaol.com) There are 3 components to how local lucene performs a geographical search. Create a bounding area. Query that areas document set for a text match. Reduce the document set to a precise distance from a center point. Geographical text searching can take multiple formats, inclusion or reductionism. Inclusion is applying text searching over a document set and ver
Lucene 2.4とLucene 2.0のインデックス構築速度比較 - kaisehのブログ
Luceneは、こちらのベンチマークなどを見る限り、Sennaなど他の全文検索エンジンに比べて相当遅いとされているようです。 上記ページのベンチマークではLucene 2.0が使われています。僕も数年前にLucene 2.0を使ったことがあって、それ以降はLuceneに触れていなかったんですが、最近のバージョンはパフォーマンスが大幅に改善されているそうなので、どれくらい速くなったのか、インデックス作成速度を比較してみました。 比較に使ったのはLucene 2.4.1（2009/03）とLucene 2.0.0（2006/05）です。以下の条件でインデックス作成時間を計測しました。 データ: 日本語版Wikipediaのダンプから先頭20万記事 インデックス形式: 記事タイトル: Store.YES, Index.ANALYZED（元文字列＋インデックス） 記事本文: Store.COMPR
davisp's couchdb-lucene at master - GitHub
This repository is private. All pages are served over SSL and all pushing and pulling is done over SSH. No one may fork, clone, or view it unless they are added as a member. Every repository with this icon () is private. This repository is public. Anyone may fork, clone, or view it. Every repository with this icon () is public.
3. 検索 (4)
2005.09.12 株式会社四次元データ 宮澤了祐 Lucene 3章 検索 3.1. 検索対象となる情報 3.2. 検索 3.3. 検索結果 3.4. 検索結果の絞込み 3.5. 検索結果のソート 3.4. 検索結果の絞込み 検索結果の絞りこみを行いたい場合は、BooleanQueryクラスを用います。 Query newQuery = QueryParser.parse(queryString,"content",analyzer); BooleanQuery bQuery = new BooleanQuery(); bQuery.add(oldQuery, true, false); bQuery.add(newQuery, true, false); Hits hits = indexSearcher.search(bQuery); BooleanQueryのadd()メソッドで
全文検索システム #2 - Lucene & CJKAnalyzer
今回は、全文検索エンジンの Lucene をテストしてみます。標準の StandardAnalyzer は、日本語に対応していませんが、Sen の形態素解析をもちいた JapaneseAnalyzer や bi-gram による CJKAnalyzer を使うことにより、日本語にも対応することができます。 Lucene の最新バージョンは、2.0.0 で、contrib に CJKAnalyzer がはいっているので、今回はこれを使うことにします。 まずは、Lucene 2.0.0 をインストールします。 $ cat LuceneTest.java import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.cjk.CJKAnalyzer; import org.apache.lucene.in
ウェブリブログ：サービスは終了しました。
「ウェブリブログ」は 2023年1月31日 をもちましてサービス提供を終了いたしました。 2004年3月のサービス開始より19年近くもの間、沢山の皆さまにご愛用いただきましたことを心よりお礼申し上げます。今後とも、BIGLOBEをご愛顧賜りますよう、よろしくお願い申し上げます。 ※引っ越し先ブログへのリダイレクトサービスは2024年1月31日で終了いたしました。 BIGLOBEのサービス一覧
DistributedSearch - Solr - Apache Software Foundation
<!> Solr1.3 What is Distributed Search? When an index becomes too large to fit on a single system, or when a single query takes too long to execute, an index can be split into multiple shards, and Solr can query and merge results across those shards. If single queries are currently fast enough and one simply wishes to expand the capacity (queries/sec) of the search system, then standard whole inde
Lucene technicalities
Concurrency The first DMS document posed a few questions regarding Lucene usage in a multithreaded environment. The DMS must be able to handle concurrent updates and queries. Fortunately, searching and updating of Lucene indexes are non-conflicting operations, which means they can be done at the same time. The result of querying an index which is undergoing updates, is that you will only get resul
Hadoop + Luceneで分散インデクシング - moratorium
Hadoop + Luceneで分散インデクシング 2008-08-27 (Wed) 1:07 Hadoop Hadoop (0.17系) + Lucene (2.3系) で検索用インデックスを分散インデクシングするコードを公開してみます。HDDに眠らせてるのはちょっともったいない。 いきなりソースコード。 package net.kzk9; import java.io.*; import java.util.*; import org.apache.hadoop.conf.*; import org.apache.hadoop.fs.*; import org.apache.hadoop.io.*; import org.apache.hadoop.mapred.*; import org.apache.hadoop.util.*; import org.apache.lucene.i
Luceneで分散インデクシング
最近Luceneを使ってみている。Luceneを使って実験用のブログ検索エンジン（ぽいもの）を作っているが、とにかくインデクシングが遅い。Nutchでは、Luceneのインデックスをいくつものマシンに作成して、インデクシング/検索共に分散してやることが推奨されているようだが、残念ながら常時占有できるマシンがたくさんあったりはしない。 Luceneの本によれば、マルチスレッドでメモリ上にインデックスを作成して、あとでまとめて1つのインデックスをファイルシステム上に作るというのが、Luceneのインデクシングを高速化する常套手段らしい。しかし、それで高速化できるのは最大でも（インデックスのマージにかかる時間が0としても）1つのマシン上のCPU数だけで、大幅な高速化はできない。 そこで、複数のマシンでメモリ上にできるだけ大きな（メモリぎりぎりの）インデックスを作成し、それをファイルに書き出してネ
BooleanQuerySyntax - Apache Lucene (Java) - Apache Software Foundation
Confusion I found something kind of weird about the way Lucene interprets boolean expressions without parenthesis. when i run the query A AND B OR C, it returns only the documents that have A(in other words as if the query was just the term A). when I run the query A OR B AND C, it returns only the documents that have B AND C(as if the query was just B AND C ). I set the default operator in my app
java.net: QueryParser Rules
QueryParser Rules by Erik Hatcher 11/06/2003 Suppose you are searching the Web for pages that contain both the words java and net but not the word dot. What if search engines made you type in something like the following for this simple query? BooleanQuery query = new BooleanQuery(); query.add(new TermQuery(new Term("contents","java")), true, false); query.add(new TermQuery(new Term("conte
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Lucidworks
超大規模検索 | 関口宏司のLuceneブログ
Efficient data transfer through zero copy
Software Error
Similarity (Lucene 2008-10-02_02-04-48 API)
LuceneとSennaの比較：スコア計算 | 関口宏司のLuceneブログ