Lucene/Solrのパフォーマンスチューニングした内容をまとめてみた - YOMON8.NET
Solrのパフォーマンスチューニングを一通り行ったので、忘れないうちにまとめてみたいと思います。Lucene/Solrのバージョン6系統になら当てはまると思います。 インデクシングのパフォーマンスにも関係するところはありますが、主に検索側のパフォーマンスについて書いています。 Solrのパフォーマンス変化要因 まずはOSレベルでボトルネック見極め 負荷テストクエリ パフォーマンス計測ツール I/O Boundへの対応 インデックスはOSキャッシュに乗っているか OSキャッシュに乗らない場合 Schemaのチューニング 分散検索(distributed search) Replication CPU Boundへの対策 Solrキャッシュ JavaVM(とSolr/Lucene内部) JavaVM関連ツール Solrのデバッグログ クエリのチューニング Solrのパフォーマンス変化要因 前提
7.1.5 Javaヒープとガーベジコレクション
Interstage Application Server/Interstage Web Server チューニングガイド ここでは、Javaヒープとガーベジコレクション(GC)を説明します。 Javaヒープは、Javaプロセス内に存在するJavaオブジェクトを格納するための領域です。 Javaヒープは、New世代領域、Old世代領域およびPermanent世代領域に大別され、Java VMが管理・制御します。なお、New世代領域とOld世代領域は、メモリ割り当てプールという形で各領域を合わせて一括的に管理・制御します。 Java VMは、Javaアプリケーションの実行時に、JavaオブジェクトをJavaヒープの各領域に格納します。Javaヒープの空き容量がなくなった場合は、java.lang.OutOfMemoryErrorがスローされます。 また、不要となったJavaオブジェクトはGC
Java8のHotSpotVMからPermanent領域が消えた理由とその影響 | ギークを目指して
今回も前回の記事につづき、Java8による変更点で未だあまり紹介されていないポイントを記事にしようと思う。 今回はJava8のHotSpotVMの話。Java8ではJEP122が取り込まれ、VMのメモリモデルが変更された。JEP122のタイトル「Remove the Permanent Generation」から想像できるとおり、Java8のHotSpotVMからは従来のPermanent領域が無くなった。 なぜ、こういった変更が行われたのだろうか？また、元々Permanent領域に格納されていた情報は何処にいってしまったのか？JVM付属のツールにどういった影響があるのか？ 今回の記事ではこの点をまとめていこうと思う。 なお、HotSpotVMのメモリモデルについて詳しくない方は、先にこちらの項番（「補足 – HotSpotVMのメモリ構造概説）を読んでいただくとスムーズに読み進められるだ
OutOfMemoryError の調べ方 - Qiita
Java 8 で、 Oracle の JVM を前提とした話です。 Java のメモリ管理 これを知っておかないと、 OOME が起こっても、メモリ内で何が起こっていて、どこを調査すべきで、どのように対処したらいいのかが判断できない。 なので、まずは、そもそも Java がどうやってメモリを管理しているのかを知る。 しかし、実際調べてみたら予想通りというかなんというか、量が多くなってしまった。 なので、個々の用語の説明は末尾の 用語集 に押し込めたので、ここではざっくりとした概要だけ記載する。 メモリの構造 超ざっくりとした、メモリ構造を表した図。 おおきく、ヒープ（Heap）領域とネイティブ（Native）領域の２つの領域がある。 ヒープは Java プログラムが使う領域で、プログラム上で生成したオブジェクトは、このヒープ領域に配置される。 一方、ネイティブ領域は JVM が動くのに必要
Java開発の性能改善！ その１ jstatによるヒープ/GCの確認 - Qiita
JavaのWeb開発の開発後期になると性能試験や負荷試験を実施することになると思いますが、 そのフェーズになると色々な問題が起こることが多い。 今まで起きた問題と調査・解決方法をいくつかの回に分けて紹介しようと思います。 まずはメモリリーク。 長時間サーバを起動して運用していたり、負荷試験を実施するとメモリリークを起こすことがある。 ガベージコレクションのおさらい Javaのヒープは大きくnew領域(young領域)とold領域に分かれます。 new領域には生成されてすぐのオブジェクトが格納されてマイナーGCにて未使用になった際に開放されます。 マイナーGCを何度も繰り返されても開放されない(長く参照されている)オブジェクトは old領域へと移動され、こちらはメジャーGC(フルGC)で開放されます。(メジャーGCはnewとperm領域も開放。) もう少し細かく説明すると・・・ new領域は
SolPHP - Solr - Apache Software Foundation
solr-php-client A 3rd party PHP library for indexing and searching documents within an Apache Solr installation. Zip / Tarballs can be found at SolrPhpClient Adding, Deleting (by id and query), committing, optimizing and of course searching against a Solr instance Written for PHP 5 in Zend Framework / PEAR coding style PHPDoc generated API documentation included See link above for example usage an
moco(beta)'s backup: Solrの起動からschema.xmlが読み込まれるまでをざっくり追う
Apache Solr 入門 を読み始めました。大分ゆっくりペースですが、2章（スキーマ設定）まで読み終わったところ。 2章は、スキーマ設定ファイル（schema.xml）の詳細な説明が書かれているのですが、Solr起動時にこのファイルがいつどうやって読まれるのかなと、せっかくなのでソースコードを追ってみました。追っただけだとすぐ忘れるので、メモしておこうと思います。なお、Solrのバージョンは Solr4.0.0 alpha です（あまりドキュメントを読まずいきなりコードリーディングしたので、解釈が間違ってるところがあるかもしれません）。 【コードを読む前に知っておいたほうがいいこと】 Solrのアーキテクチャは押さえておいたほうがいいです。当たり前か…。 1つのSolr webアプリは、複数のコアを持てる（マルチコア） この設定は、（デフォルト）で $SOLR_HOME/solr.xm
Apache Solr Release Notes
Introduction Apache Solr is an open source enterprise search server based on the Apache Lucene Java search library, with XML/HTTP and JSON APIs, hit highlighting, faceted search, caching, replication, and a web administration interface. It runs in a Java servlet container such as Jetty. See http://lucene.apache.org/solr for more information. Release 5.0.0 Consult the LUCENE_CHANGES.txt file for ad
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
7.5.2 Javaヒープのチューニング
Block Join to improve Solr search with nested documents – Grid Dynamics
Ninja 2.0.0 released!
Solr - User - Memory Cost of group.cache.percent parameter
Apache Solr vs Elasticsearch - the Feature Smackdown!
Websolr
Understanding Transaction Logs, Soft Commit and Commit In SolrCloud | Lucidworks
Blog tvlooy: Solr 4.10 and Tomcat 7 on Debian 7
Can't find (or read) directory to add to classloader | egeek
solr under tomcat can't find contrib folder
SolrLogging - Solr - Apache Software Foundation
Recommendations for running Solr on AWS – Lucidworks Support