2. ■自⼰紹介 名前: yuzorock(ユーゾロック) http://twitter.com/yuzorock 仕事: 某インターネットポータルサイトのインフラ(サーバ)エンジニア 今⽇の話: パフォーマンス(リソース)監視とは何かという話と、そのツールでGangliaと いうのがあっておすすめですよという話。 おまけ: 初⼼者にも優しいインフラ勉強会なのでGangliaの細かい話はないです。 細かい話は後ろにつけましたので、質問あればtwitterで@yuzorockして下さい。 できればハッシュタグ#qpstudyつけて。 ⽇本語の情報が少ないので使っている⽅と⾊々と情報交換したいです。 3. ■監視とは インフラエンジニアが⾏う監視には大きく分けて以下の2種類があると思います。 死活監視: サーバやNW機器がpingやsshに正常に応答するかや提供しているサービス(http 等)
これまではHadoopの死活監視が目的のNagios設定を見てきましたが、HadoopはJMX を通してメモリ使用状況、ジョブ(MapReduce)の進行状況を詳細に見ることができます。 このJMXの値を、Gangliaというグラフ表示の監視ツールを使って可視化しましょう。 ジョブの投入状況に合わせて、メモリやCPUの利用率が各ノード毎にグラフ化されて 見えるので、ボトルネックの発見に役立つはずです。 Gangliaのインストールは終わっているものとして・・・としたいところですが Nagiosと違って、Hadoopの各ノード側全てにインストールしなければいけないので ちょっと面倒。 rpmパッケージを作って、各ノードに配布しちゃいましょう。 まずは、Ganglia監視サーバ側を作成。 rpm化にはcheckinstallを使います。あらかじめインストールしておきます。 ビルドに必要なものを
Ganglia is a scalable distributed monitoring system for high-performance computing systems such as clusters and Grids. It is based on a hierarchical design targeted at federations of clusters. It leverages widely used technologies such as XML for data representation, XDR for compact, portable data transport, and RRDtool for data storage and visualization. It uses carefully engineered data structur
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く