Lucene/Solrのパフォーマンスチューニングした内容をまとめてみた - YOMON8.NET
Solrのパフォーマンスチューニングを一通り行ったので、忘れないうちにまとめてみたいと思います。Lucene/Solrのバージョン6系統になら当てはまると思います。 インデクシングのパフォーマンスにも関係するところはありますが、主に検索側のパフォーマンスについて書いています。 Solrのパフォーマンス変化要因 まずはOSレベルでボトルネック見極め 負荷テストクエリ パフォーマンス計測ツール I/O Boundへの対応 インデックスはOSキャッシュに乗っているか OSキャッシュに乗らない場合 Schemaのチューニング 分散検索(distributed search) Replication CPU Boundへの対策 Solrキャッシュ JavaVM(とSolr/Lucene内部) JavaVM関連ツール Solrのデバッグログ クエリのチューニング Solrのパフォーマンス変化要因 前提
Solr Error This Indexschema is not mutable
Remove the AddSchemaFieldsUpdateProcessorFactory section from the updateRequestProcessorChain config in your solrconfig.xml The schemaFactory option in solrconfig.xml. This controls whether the Schema should be defined as a "managed index schema": schema modification is only possible through the Schema API. By default, if no schemaFactory is specified, then the default behavior is to use the "Clas
Ruby/Rails utilizing Solr in Master/Slave setup - DZone
Apache Solr is a high-performance enterprise grade search server with a REST-like API. Documentation is provided to as xml, json or binary. It extends Lucene search library. Ruby/Rails communicates with this awesome search server using the "Sunspot" (sunspot, sunspot_rails gem) library, to do a full-text search. This is a nice tutorial on how to use Solr in your Rails project using Sunspot. Solr:
Apache SolrCloudでクラスタ環境構築入門 (クラスタ構築〜分散インデシング〜フェールオーバーまで) - Qiita
はじめに Solr vs ElasticSearchな今日この頃ですが、SolrCloudでのレプリケーション環境構築を試してみました。 「solr -e cloud」で同一サーバー上にexampleのSolrCloud環境は簡単に構築できるのですが、具体的に何をやっているのかよくわからないので、複数サーバーで実際に使うであろう手順を踏んでの構築を試みてました。 先に感想としては、RDBMSでMaster-Slaveでのレプリケーション環境はよく構築していましたが、SolrCloudではZooKeeperを用いてのレプリケーション、フェールオーバー、ノーダーノード自動選出など中央集中管理が非常に魅力的だな感じました。それとドキュメントが充実していてわかりやすいのがいいですね。 今回、SolrCloudで構築したい全体像 今回は最小のクラスタ構成を構築してみるという趣旨で、シャード、ノード、
moco(beta)'s backup: Solrのコミット方式いろいろ
Solr (Lucene) ではインデックスを更新(update)しただけでは更新内容は検索結果に反映されません。一般的なRDBと同様、"commit"という操作を行なって初めて、検索結果に更新されたドキュメントが表れます。 Solr Wiki では"commit"は次のようにシンプルに定義されています。 A commit operation makes index changes visible to new search requests. また、コミットには(hard) commit / soft commitの2種類があります。(4.0より) (hard) commit (従来のfsyncを伴うコミット)soft commit (fsyncを伴わないコミット, 4.0から採用)soft commit はいわゆる擬似リアルタイム検索（Near Realtime Search）を実現す
UpdateHandlers in SolrConfig | Apache Solr Reference Guide 6.6
The settings in this section are configured in the <updateHandler> element in solrconfig.xml and may affect the performance of index updates. These settings affect how updates are done internally. <updateHandler> configurations do not affect the higher level configuration of RequestHandlers that process client update requests. <updateHandler class="solr.DirectUpdateHandler2"> ... </updateHandler>
Solr検索クエリの（たぶん）正しいエスケープ - miauのブログ
Solr で検索するときの特殊文字のエスケープ方法を調べていたんですが、ちゃんと実装＆説明されているケースが見あたらなかったので、自分なりに説明を書いておきます。 想定するケース ユーザが入力した文字列 str を使って、 query = "title:" + escape(str);のように検索式を組み立てる場合に、その文字列自体で検索するにはどのようにエスケープすればいいかを考えます。デフォルトのクエリパーサの動作しか調べていませんので、別のクエリパーサ（DisMax 等？）を使っている場合は何か変更が必要かもしれません。 エスケープの方法 エスケープは「\」を直前に挿入する前提で説明します。ダブルクォートで囲むことでも特殊文字を解釈させなくすることは可能ですが、フレーズ検索になってしまって期待とは違う結果が返ってしまうこともあるでしょうし、フレーズ検索の内部でも結局「"」のエスケープ
Comparing boost methods in Solr
Conclusions (TL;DR) Prefer multiplicative boosting to additive boosting. Be careful not to confuse queries with functions. Recently I inherited a Solr project. Having never used Solr or Lucene before, but being well-versed in the dark arts of computational linguistics (from ye olde university days, anyway), I was eager to roll up my sleeves and get acquainted with it. I’d seen the formulas and p
検索エンジンはいかにして動くのか？：第3回 転置索引とは何か？｜gihyo.jp … 技術評論社
はじめに 前回までは、検索エンジンの概要を見てきました。今回からは、全文検索の中核となる索引構造について見ていきます。 第1回の復習になりますが、全文検索には主に2種類の方法がありました。検索したいデータに対して前処理をせず、検索時に文書を走査するgrep型と、あらかじめ索引を作っておいて検索時にその索引を利用する索引型です。今回から数回にわたり、索引型において最も普及している転置索引という索引構造について解説していきます。 転置索引とは さて、転置索引とは何なのでしょうか？ 身近な所で例にあげると、書籍（専門書など）の巻末にある索引は、本における転置索引といえます。巻末には通常、キーワード（単語）とそのキーワードが出てくるページが記載されています。キーワードはアイウエオ順やアルファベット順に並べられているので、探したいキーワードを簡単に見つけることができ、そのキーワードがどのページで言及
SolrのFilterの動作を観察してみる - Qiita
業務でSolrを利用していますが、一から動作を見たことがあまりなかったので、自分の理解度のためにもひとつひとつ見てみたものを書いてみます。 今回はフィルターの動作をじっくり見てみました。 schema.xml の設定 あまりいじったようでもないので一般的な設定ではないでしょうか。 <fieldType name="text_ja" class="solr.TextField" positionIncrementGap="100" autoGeneratePhraseQueries="false"> <analyzer> <tokenizer class="solr.JapaneseTokenizerFactory" mode="search" userDictionary="lang/userdict_ja.txt"/> <!-- Reduces inflected verbs and a
Solrの検索クエリーとMySQLの検索クエリーの対応 - テノニッキ (@hideack 's diary)
Solrで検索クエリーを作るときにどうしてもSQLクエリが先に出てしまうので対応をメモ。 クエリーパラメータでいうとqですね。 検索式 MySQL*1 Solr 一致検索 WHERE title="foo" title:foo 全件 (where無し) *:* AND WHERE title="foo" AND price=200 title:foo AND price:200 OR WHERE title="foo" OR price=200 title:foo OR price:200 NOT WHERE title="foo" AND price<>200 title:foo NOT price:200 範囲指定(未満) WHERE price < 200 price:{* TO 200} 範囲指定(以下) WHERE price <= 200 price:[* TO 200] 範囲
テキスト処理に使われるTrie（トライ木）とLOUDSに関する概略 | ALTUS-FIVE
Trie（トライ木）を用いた検索は高速・省メモリTrie(= Retrieval tree, 検索木)はテキスト処理において必需品と言えるデータ構造です。辞書検索、日本語入力、サジェストの実装や、形態素解析に使われる辞書（形態素辞書）が主な用途と言えるでしょうか。Pythonの自然言語処理パッケージNLTK(Natural Language Tool Kit)でも、形態素解析にトライ木を用いています。 参考：http://www.nltk.org/book-jp/ch12.html Trie（トライ木）とは？ 例として、辞書として使われているトライ木の「A」から始まる単語を格納した部分を図示してみました。このように、探索木の各エッジに文字を割り当て、根ノードから葉ノードに至る経路（path）上の文字を拾っていった時の文字列によって辞書を表現します。この辞書には、「AGE」「AGILE」「A
Apache Solr 7.0.0が公開されました！ - 株式会社ロンウイット
Apache Solr 7.0.0 が 2017 年 9 月 20 日に公開されました。 Solr は Apache Lucene プロジェクトによって手がけられた全文検索サーバです。 強力な全文検索に加え、ハイライト、ファセット検索／分析、空間検索、多彩な REST API に加え、パラレル SQL をその主な特長としています。 Solr はエンタープライズ品質の安全性と高いスケーラビリティを誇り、フォールト・トレラントな分散検索／インデックス作成を可能にし、世界最大規模の多くのインターネットサイトで検索とナビゲーションを提供しています。 今回行われた主なアップデート内容を以下に記します。 主なアップデート – バグ修正，機能強化 新たなレプリカのタイプPULLをサポートし、現行(NRT)に比べて要求される仕様に応じた構成を構築可能になりました SolrCloudにおいてプロファイルを定
Solr4系とSolr5系の違い
2015/02/20に Apache Solr 5.0.0 2015/04/14に Apache Solr 5.1.0 2015/06/07に Apache Solr 5.2.0 2015/06/15に Apache Solr 5.2.1 がリリースされている。 個人的には、 Apache Solr 5.2.0以降で、Jetty 9が採用されている また、 Apache Solr 5.2.0以前のBug Fixesの件数が多い ため、 Apache Solr 5.2.1以降を採用する予定。 20 February 2015 - Apache Solr 5.0.0 and Reference Guide for 5.0 available http://lucene.apache.org/solr/news.html#20-february-2015-apache-solr-500-and-
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
solr - What is the difference between managed-schema and schema.xml - Stack Overflow
Solr always use more than 90% of physical memory
What is omitNorms and version field in solr schema?
Solr 5.x Edge N-Gram filter from back side
Running a custom script using entrypoint in docker-compose
Can we precreate more than one core · Issue #32 · docker-solr/docker-solr