インフラエンジニアのためのHadoop情報 Gangliaその１：So-net Developer Blog：So-netブログ
これまではHadoopの死活監視が目的のNagios設定を見てきましたが、HadoopはJMX を通してメモリ使用状況、ジョブ（MapReduce)の進行状況を詳細に見ることができます。 このJMXの値を、Gangliaというグラフ表示の監視ツールを使って可視化しましょう。 ジョブの投入状況に合わせて、メモリやCPUの利用率が各ノード毎にグラフ化されて 見えるので、ボトルネックの発見に役立つはずです。 Gangliaのインストールは終わっているものとして・・・としたいところですが Nagiosと違って、Hadoopの各ノード側全てにインストールしなければいけないので ちょっと面倒。 rpmパッケージを作って、各ノードに配布しちゃいましょう。 まずは、Ganglia監視サーバ側を作成。 rpm化にはcheckinstallを使います。あらかじめインストールしておきます。 ビルドに必要なものを
[ThinkIT] 第1回：現実路線のサーバ管理ソフトウェア (1/3)
大量のサーバが導入されている場合や、サーバのハードウェアやOSの種類が異なるという環境で管理者の工数を低減することは非常に重要です。特にサーバの負荷状態や障害状況、アプリケーションの稼動状況を瞬時に把握したいというニーズは昔から消えることはありません。 シェルスクリプトを使用してシステム情報を収集する手法は、システム導入の際に非常に有用なツールとなります。管理者や導入業者が保守サポート業務を行う場合、工数の削減に役立つことでしょう。しかしこれらのスクリプトを大量のサーバで実行し、ログを収集し、すべてに目を通して異常がないかを管理者がチェックするのは非常に煩雑な作業です。 管理者にとって必要なのは、システムに障害が発生しているか、システムがうまく稼動しているかといった結果だけであり、対象となる数百台ものサーバにログインしてスクリプトを流し、大量の監視項目をチェックする方法は非現実的です。 そ
GangliaMetrics - HADOOP2 - Apache Software Foundation
Edit the file hadoop-metrics.properties, if it is not already present in your config directory. The file should contain at least the following lines: dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext dfs.period=10 dfs.servers=<at:var at:name="GANGLIA" />:8649 mapred.class=org.apache.hadoop.metrics.ganglia.GangliaContext mapred.period=10 mapred.servers=<at:var at:name="GANGLIA" />:8649 jvm
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.ryangreenhall.com/2010/10/monitoring-hadoop-clusters-using-ganglia/
IBM Developer
Ganglia
Ganglia と Nagios: 第 1 回 Ganglia でエンタープライズ・クラスターを監視する
