Hadoopのジョブのパフォーマンスチューニング
Hadoop 0.21ではCounterでGCに使っている時間が見れるようになりました。 こんな感じです。 この例では5秒程度ですが、ジョブによってはもっとGCに時間を使っている場合があり、 もっと詳細を調べてチューニング出来ないかという話です。 まずはGCのログを取ります。 <name>mapred.child.java.opts</name> <value>-Xloggc:/tmp/hadoop-mikami/@taskid@.gc -Xmx1024m</value> このように-Xloggc で指定した場所にログを取れます。 @taskid@ には attempt_201010311624_0037_m_000000_0 みたいな感じでattempt_id が入ります。 以下が先程のジョブのあるMapタスクでのGCログです 0.164: [GC 3072K->416K(889
「Java SE 6完全攻略」第5回 プロファイラ hprofとよき相棒 jhat
アプリケーションのパフォーマンス・チューニングなどで使用するツールといえば，まず第一にあげられるのがプロファイラです。最近は，EclipseのTPTPや，NetBeans Profilerなどフリーで使えるプロファイラが増えてきたので，使ってみたことがある方も増えてきていると思います。 意外に知られていないのですが，Java SEにも標準でプロファイラが付属しています。それがhprofです。 Java 2 SE 5.0からは「-agentlib:hprof」という起動オプションでhprofを起動できます（J2SE 1.4.までは「-Xrunhprof」）。使い方はヘルプ・オプションで表示できます。 C:\temp>java -agentlib:hprof=help HPROF: Heap and CPU Profiling Agent (JVMTI Demonstration Code)
『備忘録：ネットワークのスループット測定Linux編（nuttcp、Iperfのインストール）』
あなたに送る独り言byはむばね （一応）作家・はむばねが誰にも教えることなくひっそり始めたブログ。今はもう普通のブログ。ブログっていうか日記。 どうも、はむばねです。 本日２回目の更新。 死ぬほど久々の、まともな情報系ネタ。 いやまぁ書こうと思えば書くことはたくさんあるわけですが、ぶっちゃけ超めんどいんだね！ というか基本的にググってすぐ出てくるようなネタについて書いても仕方ないわけで。 というわけで今回は、ちょっと気合い入れてググればすぐ出るけど「２秒で教えろやハゲ！」という時にはちょっぴり調べるのがめんどかったネットワークのスループットの測り方だよ！ とりあえず「Linuxってなーに？」という人には塵一つとして必要のない知識なのでスルーしてね！ また、私がてきとーに調べててきとーにやった範囲での話なので、あんまり本気にせず話半分で読んでね！ これは別に今回に限ったことでもないのですが、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
