High Performance Solr and JVM Tuning Strategies used for MapQuest’s Search Ahead: Presented by Darren Spehr, MapQuest
MapQuest developed a search ahead feature for their mobile app to enable auto-complete searching across their large dataset. They used Solr and implemented various techniques to optimize performance, including custom routing, analysis during ETL, and extensive JVM tuning. Their architecture included multiple Solr clusters with different configurations. Through testing and monitoring, they were abl
検索エンジンLuceneの歴史とこれから - ワザノバ | wazanova
http://www.youtube.com/watch?v=5444z-L2V2A 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約3時間前 Luceneのオリジナルの開発者であるDoug Cutting（ClouderaのChief Architectと Apache Software FoundationのDirectorを兼務）が、Luceneの歴史と今後の展開を紹介しています。 検索サイトExciteに勤務していた1997年に開発開始。当時新しくでてきたJavaを使ってみたかった & ネットバブルが弾けるのが不安で何かかたちに残るものをつくっておきたかった。2000年にオープンソースとして提供。Solrは2006年、Solr Cloudが2012年。昨年にはHadoopプラットフォームの検索エンジンに
Living with Garbage by Gregg Donovan at LuceneSolr Revolution 2013
Living with Garbage by Gregg Donovan at LuceneSolr Revolution 2013 Understanding the impact of garbage collection, both at a single node and a cluster level, is key to developing high-performance, high-availability Solr and Lucene applications. After a brief overview of garbage collection theory, we will review the design and use of the various collectors in the JVM. At a single-node level, we wil
強烈に素晴らしいプロダクトに変貌した Apache Solr - Solr 4.0 登場 - にょきにょきブログ
Apache Solr 4.0 がリリースされた。 本記事では Solr 4.0 の新機能や改善された点のうち気になるものを紹介する。 概要 Solr 4.0 では、下記の変更が入る。 83 個の新機能 13 個の最適化 121 個のバグ改修 Solr 4.0 はメジャーバージョンアップにふさわしい、非常に強力なリリースとなる。 SolrCloud Solr 4.0 の数ある新機能のうちの目玉機能。 SolrCloud という名前から推測できるように、Solr の分散構成が行えるようになった。とはいうものの、Solr 3.6 以前でもレプリケーションは行えたのだが、Solr 4.0 は一味ちがう。 今までより断然賢くなった。シャーディングもクラスタリングも簡単な設定で行うことができる。インデクス書き込みも複数ノードから行える。そしてなにより自動フェイルオーバーができるようになった。 さらに
solrとelasticsearchの比較
elasticsearchの紹介です！ atnd.org/events/33718
WikipediaからのSolr用類義語辞書の自動生成
6. 見出し語（＝原型語） 類義語（＝略語、日本語版頭字語） 入国管理局 入管 文房具 文具 社員食堂 社食 国際連盟 国連 リポビタンD リポD ベルサイユのばら ベルばら 木村拓哉 キムタク Universal Serial Bus USB （日本語における頭字語の例） Copyright (c) 2012 RONDHUIT Co.,Ltd. 6 7. 辞書型コーパス （見出し語,説明）× M 項目 設定ファイル ＜類義語知識の獲得＞ すべての見出し語に関し以下を ループ処理 Lucene/Solr インデックス 1. 類義語候補tBの同定 インデックス作成 2. 見出し語tAと類義語候補tBの 類似度S(tA, tB)の計算 3. 類似ならば出力 • • • 説見見 明出出 しし 語語 の 読 CSVファイル み Copyright (c) 2012 RONDHUIT Co.,Ltd
From Solr to elasticsearch - Government Digital Service
https://gds.blog.gov.uk/2012/08/03/from-solr-to-elasticsearch/ Search is right at the centre of GOV.UK. It’s the main focus of the homepage and it appears in the corner of every single page. Many of our recent and upcoming apps such as licence finder also rely heavily on search. So, making sure we have the right tool for the job is vital. Recently we decided to begin switching away from Solr to el
Solrの日本語対応 -新しく追加されたトークナイザ・トークンフィルタ- 株式会社ロンウイット
先日、Lucene/Solrのbranch_3x(3.6)とtrunk(4.0)にコミットされた日本語向けのトークナイザ・トークンフィルタをご紹介します。 LuceneのJIRAのチケット LUCENE-3305 にて、日本語形態素解析器Kuromojiが導入されました。 これにより、日本語ドキュメントに対して形態素解析に基づく単語分割が可能になります。 従来、Lucene/Solrで日本語対応をする場合は、lucene-gosenやSenを使用する方法などをとってきましたが、今回の対応であらかじめLucene/Solrに組み込まれたものを使用するということが可能になります。 また一方で、LUCENE-2906にて、CJK文字に関するトークンフィルタも追加されました。 本記事では、これらのトークナイザ・トークンフィルタに関して、2012/2/23時点のソースに基づいて調査したものを解説いた
慎ましい構成で使うSolr « NAVER Engineers' Blog
お世話になっております、開発チームの池上です。 最近ちょっとした検索機能にSolrを導入しました。Solrは検索エンジンのミドルウェアでご存知の方も多いと思います。大規模な構成による導入実績が豊富でWeb上にもたくさんの事例がありますが、今回は慎ましい構成の事例を紹介させて頂こうと思います。 使用しているSolrのバージョンは2012年1月時点で最新の3.5.0です。 なお、検索エンジンやSolrに関する基礎的な情報につきましては、有用な解説がすでに多数存在していますので割愛させて頂きます。 今回はつぎの前提条件と要件を意識して構築しました。 前提条件 サーバは極力少なめで ミッションクリティカルな機能ではない データ量はそれほど多くない 要件 更新はある程度頻繁 遅くとも数分以内にはインデックスに更新を反映させたい 一般的なWeb検索のように「いい感じに見つける」よりは「（入力されたキ
Solrのモニタリングツール - New Relic RPM Lite | 関口宏司のLuceneブログ
一定期間更新がないため広告を表示しています
Apache Solrのログをlogback経由で出力する - FrontRunner
SolrのログはTomcatにデプロイするとcatalina.outに出てくるんだけど、それがJDK logging経由なのでえらくフォーマットやローテーションが難しい。Solrは1.4からslf4jをloggingのinterfaceに利用しているので、logbackに実装を変更することも簡単のはずなのでやってみた Solrをダウンロードして展開する $ tar xvzf apache-solr-1.4.0.tgz logback,slf4jもダウンロードして展開する $ wget http://logback.qos.ch/dist/logback-0.9.20.tar.gz $ tar xvzf logback-0.9.20.tar.gz $ rm -rf slf4j-1.5.11 $ wget http://www.slf4j.org/dist/slf4j-1.5.11.tar.g
全文検索システム: Fess - オープンソース全文検索サーバー Fess (フェス)
概要 現在表示されているサイトは旧サイトです。新サイトは http://fess.codelibs.org/ja/ です。 Fess は「5 分で簡単に構築可能な全文検索サーバー」です。Java 実行環境があればどの OS でも実行可能です。Fess は Apache ライセンスで提供され、無料 (フリーソフト) でご利用いただけます。 Seasar2 ベースで構築され、検索エンジン部分には 2 億ドキュメントもインデックス可能と言われる Solr を利用しています。 ドキュメントクロールには S2Robot を利用することで、Web やファイルシステムに対するクロールが可能になり、MS Office 系のドキュメントや zip などの圧縮ファイルも検索対象とすることができます。 特徴 5 分で簡単に構築可能な全文検索サーバー Apache ライセンスで提供 (フリーソフト) OS 非依存
Solr+Flexはいい感じ - スティルハウスの書庫の書庫
ここ2週間くらいはお仕事で全文検索サーバーApache Solrを使ってました。Solrは要するに「全文検索エンジンLuceneの機能をRESTで呼び出せるサーバー（Jettyベース）」です。今回、要件としてファセット検索をさくさく使いたいというニーズがあったので、RDBではなくSolrでいこうということになりました。 Solrを使うにあたって参考になった書籍とサイト 今回は最新バージョンのSolr 1.4を使用したのですが、タイミングよくSolr 1.4をみっちり解説した書籍が出てて大変参考になりました。バイブル認定です！ あとはもちろん、関口さんのLucene本ですね（ちょっと発売から日が経ってしまいましたが）。 それに、以下の各ページが参考になりました。 Solr tutorial ロンウイット関口さんのホワイトペーパー これからSolrを始める人のためのApache Solr概要と
Solr 1.3と1.4の検索パフォーマンス比較 - kaisehのブログ
TopHatenarとBlogopolisでは現在、全文検索用途にApache Solr 1.3を使っていますが、去年11月にSolr 1.4がリリースされたので、近いうちに1.4に移行したいと思っています。 そこで、1.3と1.4の検索パフォーマンスにどのくらい差があるのか、TopHatenarで収集しているブログの本文データを使って、以下の条件で計測してみました。 計測は、事前にSolrをウォームアップし、キャッシュが十分に効いた状態で行いました。 Solrサーバ環境 OS: CentOS 5.4 (x86_64) CPU: Phenom II X4 905e RAM: DDR2-800 9GB HDD: Seagate ST3160815AS (160GB, 7200rpm) JRE: 1.6.0_17-b04 (64bit) Tomcat: 6.0.20 Solrのキャッシュ設定
ThinQ the Future — LocalSolrを使った周辺検索をキロ(km)単位にする
LocalSolrという検索エンジン＋位置検索モジュールを若干使いやすくしました。 設定の自由度やインテグレーションがしやすいSolrという検索ソフトウェアがあります。 LocalSolrは、Solrに追加して使うプラグインのようなものです。(プロジェクト名がLocalLuceneとなっているのは、Solrのコアになっている検索ソフトウェアがLuceneであるため) これを使えば、緯度経度を検索レコードに付与することにより、ある位置の近くにあるレコードを探すことができるようになります。 LocalSolrは、周辺を検索する機能としては、以下の点のメリットがあります。 キーワード検索と組み合わせて使えること RDBによる幾何データ型処理に比べて簡単であること しかし、LocalSolrでは、扱う距離の単位がマイルになっており、メートル単位になれた日本人からするとやや使いにくくなっていまし
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LinkedIn Open Sources IndexTank: What Is IndexTank and How Does It Compare to Lucene and Solr
search-lucene.com | 関口宏司のLuceneブログ
twist-bend coupling: Solr勉強会での公約どおり
エンタープライズサーチ/文書管理 FileBlog
Lucidworks