[B! memory] hackedのブックマーク

Solr のメモリ使用量を小さくする - ぼうずの日常的雑感

Solr で使われるメモリを減らす必要がある場合に僕がとりあえず考えることを挙げます．以下の内容は僕の Solr 1.3 での経験に基づいてますが，おそらく次期版の 1.4 でも同じではないかと思います．キャッシュを小さくするSolr はメモリ上に検索結果をキャッシュする機構を持っています．これは検索性能を向上するのにとても役立ちますが，メモリを食います．キャッシュは (Solrコアのホームディレクトリ)/conf/solrconfig.xml で定義され，サイズを指定することができます．Solr のキャッシュは何種類かあり，自分で用意することもできますが，たとえば元から用意されており世話になる可能性が高い filterCache は，Solr 添付の example 内の solrconfig.xml で次のように定義されています: キャッシュの容量を小さくするには，size 属性の値を

hacked 2011/01/19

solr
memory

リンク

Javaの理論と実践: 弱参照でメモリー・リークを塞ぐ

IBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant techno logies such as generative AI, data science, AI, and open source.

hacked 2011/01/18

java
memory

リンク

DBサーバ向けLinuxチューニングを考える〜メモリオーバーコミット編 : DSAS開発者の部屋

Cでプログラムを書いていて大量のメモリを確保したくなったとき、大抵は mallocを使うと思いますが、その際には戻り値がNULLかどうかを判断してエラー処理に飛ばすと思います。しかし、Linux のメモリ管理サブシステムには「メモリ・オーバーコミット」という機構があり、実装されているメモリ以上の領域を確保できてしまいます。 #include <stdio.h> #include <stdlib.h> int main() { int i; char *p; for(i=0;i<65536;i++){ p = (char *)malloc(65536); if(0 == (long)p){ break; } } printf("SIZE=%dMB\n",i*65536/1024/1024); return(0); } swapoff したメモリ 1G のマシンでこれを実行するとこんな感じにな

hacked 2010/07/14

リンク

Linux Memory Overcommit - memologue

かなり昔ですが、或日さんのSolaris8におけるmemory over commitの話題に触発され、Linuxの場合について調べた事があります。正しさは保証しませんが当時のメモを貼っておきます。 memory overcommit? メモリ資源の非常に限られた環境でLinuxを使用しているとよく遭遇する現象なのだが、kernel 2.4までのLinuxでは、"mallocが成功を返したにもかかわらず、その確保した筈のメモリ領域にアクセスすると、SIGKILLによってkernelから強制終了させられてしまう" という現象が発生することがある。これは、「全プロセスがnew/mallocしたメモリの総量」に対して物理メモリ量が少なすぎる瞬間に於いては常に発生し得る。何に困っているかといえば、C++でオブジェクトをnewした時に、メモリの枯渇をstd::bad_alloc例外送出という形で

hacked 2010/07/14

高林哲さんのblog

リンク

blog-category-9.html

タイトルのエラーが$TOMCAT_HOME/logs/catalina.outに出力されスレッドが終了していた。。このエラーのケツに注目。これがPermGen spaceではなくJava Heap Spaceと出ればjavaのヒープ領域が不足し、 Out of Memoryエラーが起きてスレッドが終了していたと考えられる。ヒープ領域が不足した場合はTomcatプロセスに割り当てられるOSが許す最大のメモリ領域を指すので不足しているということはプログラムがメモリを開放させるよう組まれていないか、メモリにゴミがたまりやすいよう設計されていないかなどプログラムを疑うことができます。しかし、今回のばやい、PermGen spaceなのでこれは非ヒープ領域です。じゃあこの領域はなんなんでしょう？それはPermanent領域と言って主にJavaクラスのメタ情報が格納されます。単純なプ

hacked 2010/06/15

リンク

OutOfMemoryエラー発生!? GCがあるのに、なぜ？

今回の概要本稿ではWebアプリケーションの開発プロジェクトで実際に直面したメモリに関するトラブル事例の中からjava.lang.OutOfMemoryErrorを題材としたTipsを紹介する。帰宅直前に、突然電話が鳴り響く業務を終えて帰宅しようとしたとある夜、突然電話が鳴る。相手は社内のプロジェクトのマネージャである。「現在、テストを実施しているが、数分経つとOutOfMemoryErrorが発生してアプリケーションが落ちてしまう。再起動を掛けると、また順調に動くが、しばらく利用していると、同じようにOutOfMemoryErrorが発生する。メモリ不足のエラーなので、物理メモリを増やそうかと思っているが、物理メモリ増設の前に、アプリケーションという観点からメモリ不足を引き起こす問題がないか調査してほしい」取りあえず、原因を探るために現場に急行した。現場にてトラブルの詳細をヒア