Lucene 8 の Top-k クエリプロセッシング最適化(1) 導入編 | by mocobeta | Medium
7.0 が出たのも最近な気がしますが，もうすぐ Lucene/Solr 8.0 がリリースされる様子です（いま RC 版の VOTE 中）。またそれにつづいて，Elasticsearch 7.0 もGAがリリースされるはずです。 Lucene 部分の一番の目玉が， Top-k クエリプロセッシングの最適化（＝まだ速くなる…らしい！）ということで，少し詳しく調べてみました。ざっくり概要，アルゴリズム，実装，後方互換性の順でみていきたいと思いますが，長くなるため何回かに分けて紹介します。 なお，ショートバージョンでまとめたものを Search Engineering Tech Talk #1 で発表予定です。当日だいぶ駆け足にはなるかもしれません。。。 ==== 追記 (2019/2/28) ==== 当日の発表資料です。聴講いただいた方ありがとうございました。途中，やっぱり時間が足りず説明が
moco(beta)'s backup: 【読了】 Lucene in Action
Lucene in Action の読書メモまとめエントリ。 まだ前半 (Part 1) しか読んでないですが、とりあえず読んだところまでのまとめです。しばらく中断予定。。。 → 再開してます。 → Part 2 まで読んだところで、読了ということにしました。（Part 3 “Case Study” は、さすがにもう古いし、いいかな。） at 2014.10.13 Chapter 2 : Building a search index Lucene in Action 2章: インデックス作成サンプルLucene in Action 2章: フィールドいろいろLucene in Action 2章: DirectoryいろいろLucene in Action 2章: RAMDirectoryのコードを読むLucene in Action 2章: FSDirectoryのコードを読むLuce
Luceneで使われてるFSTを実装してみた（正規表現マッチ：VMアプローチへの招待） - Qiita
入力と出力のペアに対して，上のようなグラフを作るのが目標です．テーブルの出力のとこは数字が書いてありますが，文字列だと思ってとらえて下さい．map だと出力は1つに限られちゃいますが，ひとつの入力に対して出力が複数あってもいいです．たとえば入力 "feb" に対して，出力は "28" と "29" があります．（2月は28日と29日のときがありますね）． ノードの部分が状態で，そこから出ている矢印が状態遷移になります．矢印には a/b というラベルがついていますが，a の部分が入力とのマッチを意味し，b の部分がそのときの出力を意味します． 上の例で示すFSTで，"aug"を処理するには，"aug"を頭から読んで，入力"a"に対応するの(9)から(3)への矢印を選択します．そのとき，出力として"3"を記録しておきます．そのあと，"u"に対して(3)から(2)への矢印を選択し，"1"を先ほど
検索エンジンLuceneの歴史とこれから - ワザノバ | wazanova
http://www.youtube.com/watch?v=5444z-L2V2A 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約3時間前 Luceneのオリジナルの開発者であるDoug Cutting（ClouderaのChief Architectと Apache Software FoundationのDirectorを兼務）が、Luceneの歴史と今後の展開を紹介しています。 検索サイトExciteに勤務していた1997年に開発開始。当時新しくでてきたJavaを使ってみたかった & ネットバブルが弾けるのが不安で何かかたちに残るものをつくっておきたかった。2000年にオープンソースとして提供。Solrは2006年、Solr Cloudが2012年。昨年にはHadoopプラットフォームの検索エンジンに
第4回 全文検索エンジン「Lucene/Solr」の用途と良さ
情報インフラの発展に伴い，私たちが接する情報の絶対量は増加の一途をたどっています。そのため，目的とする情報をすばやくピンポイントで入手するのが困難な状況も増えています。 一方で情報提供側にとっても，情報を確実に利用者に届けることがビジネスの成功に重要な要素となってきており，これを実現するための努力が日々続けられています。 このような状況で，高速で柔軟性が高い検索処理のニーズが高まってきており，全文検索エンジンが注目を集めています。ここでは，オープンソースの全文検索エンジンである「Lucene/Solr」を紹介します。 Lucene/Solrとは Lucene/Solrは，Apache Software Foundation（ASF）のLuceneプロジェクトで開発されているソフトです。LuceneはPure Javaで実装された全文検索エンジンで，単独では実行不可能なライブラリの形式で提供
livedoor Techブログ : 全文検索エンジン lucene(ルシーン) を使ってみた
こんにちは 。 検索 関連 を 担当 して いる やましー です 。 今回は livedoor で提供しているサービスの中の「検索関連」について書きます。 このブログでも過去に何度か取り上げられていますが、livedoor では検索エンジンとして HyperEstraier、lucene、mysql + senna、Namazu、SUFARY などを利用しています。 その中で lucene の利用方法や機能拡張について説明します。 lucene とは Apache Lucene は、Java で書かれた高性能で高機能な検索エンジンライブラリです。全文検索を（特にクロスプラットフォームで）必要とするほとんどのアプリケーションに適している技術です。※ 公式サイトから抜粋 インデックスの作成 lucene は転置インデックス型の検索エンジンなので、ドキュメントを検索するには、まずインデックスの作
2つの文字列間の距離計算の抽象化（スペルチェック）（2.4） | 関口宏司のLuceneブログ
一定期間更新がないため広告を表示しています
Baileyのアーキテクチャ - 今後の超大規模検索インフラの指針 | 関口宏司のLuceneブログ
一定期間更新がないため広告を表示しています
Kazuhiro's Weblog: 「Nutch」ですいすい情報収集 (クローリング機能を試す)
「Nutch」でウェブサイトをクローリングする方法を説明します。 クローリングとは、簡単にいえば「ウェブサイトの情報を集めるてくれる仕組み」でしょうか。 (注) nutchを利用するには、unixがお勧めです。 私は、「CentOS 4」をOSとし用いました。 最初はwindowsでがんばろうと試行錯誤しましたが 多くの無駄な時間をつかってしまうという結果に終わりました（ＴＴ）。 「Nutch」利用したクローリングの方法には、 (A)ある特定のネットワーク(intranet)をクローリングする方法 (B)ウェブ全体(whole-web)をクローリングする方法 の2つがあります。 今回は、このblogサイト「http://kazuhiro.ty.land.to/blog/」を起点にして (A)の方法でクローリングする方法を紹介します。 (1)「Nutch」をインストールする 「Nutch」の
チームラボ / teamLab
森ビル デジタルアート ミュージアム：エプソン チームラボボーダレス Feb 09, 2024 - 麻布台ヒルズ、東京 NOW OPEN
RwJ:Javaオープンソース「Nutch」はクロール→インデクシング→検索までいける
Nutchというクローラ、インデクサ、検索を行なうオープンソースがあったので、 軽く触ってみた。 Nutch内部ではLucene、Hadoopが動作してるようなので、勉強にはちょうどいいかと思う。 早速、インストールから動作までの解説をする。 ■クローラ 1.Nutch本体ダウンロード、解凍 # tar -xvzf nutch-0.9.tar.gz # mv nutch-0.9 /usr/local/nutch 2.環境変数にパスを通す # vi /etc/bashrc export NUTCH_HOME=/usr/local/nutch export PATH=${NUTCH_HOME}/bin:${PATH} # source /etc/bashrc 3.クロール先を決める クロール先URLリストを作成する。 今回は2サイトをクロールする予定。 # cd ${NUTCH_HOME} #
Luceneで分散インデクシング
最近Luceneを使ってみている。Luceneを使って実験用のブログ検索エンジン（ぽいもの）を作っているが、とにかくインデクシングが遅い。Nutchでは、Luceneのインデックスをいくつものマシンに作成して、インデクシング/検索共に分散してやることが推奨されているようだが、残念ながら常時占有できるマシンがたくさんあったりはしない。 Luceneの本によれば、マルチスレッドでメモリ上にインデックスを作成して、あとでまとめて1つのインデックスをファイルシステム上に作るというのが、Luceneのインデクシングを高速化する常套手段らしい。しかし、それで高速化できるのは最大でも（インデックスのマージにかかる時間が0としても）1つのマシン上のCPU数だけで、大幅な高速化はできない。 そこで、複数のマシンでメモリ上にできるだけ大きな（メモリぎりぎりの）インデックスを作成し、それをファイルに書き出してネ
はてなブログ | 無料ブログを作成しよう
新米と秋刀魚のわた焼き お刺身用の秋刀魚を買いました。1尾250円です 3枚におろして、秋刀魚のわたに酒、味醂、醤油で調味して1時間ほど漬け込み、グリルで焼きました 秋刀魚のわた焼き わたの、苦味が程よくマイルドに調味され、クセになる味わいです 艶やかな新米と一緒に 自家製お漬物 土…
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Lucene 7.0 Is Coming Soon!
Boolean Operators for Solr Users
Of collapsing in Solr
katta
Lemonodor: Montezuma Benchmarking
http://www.itarchitect.jp/enterprise/-/25122.html
[Think IT] 第1回：OSS検索エンジンLuceneとは (3/3)