インフラエンジニアのためのHadoop情報 ログの切捨て：So-net Developer Blog：So-netブログ
Hadoopはlog4jを使って、大量のログを生成しています。連日ジョブを走らせている ような環境では、NameNodeのログ領域はGバイト単位で肥大化してディスクを圧迫します。 ログの出力ディレクトリをシステム領域と共有している場合などは、ディスク残容量 不足でシステムトラブルの原因にもなりえます。 見落としがちですが、ログの管理もやっておきましょう。 ローテーションについては、Hadoopがやってくれているので、不要なログを抑制して 不要になった古いログは削除するようにします。 ログの抑制についてですが、CDHを使う限りHDFSへのアクセスにパーミッションを設定して はいないので、HDFSへの監査ログは不要と思われます。 しかも、この監査ログがHDFSへのアクセスの度に記録されるので、肥大化の原因になって ます。 log4j.properties中に定義されている「SNamesyste
インフラエンジニアのためのHadoop情報 Gangliaその１：So-net Developer Blog：So-netブログ
これまではHadoopの死活監視が目的のNagios設定を見てきましたが、HadoopはJMX を通してメモリ使用状況、ジョブ（MapReduce)の進行状況を詳細に見ることができます。 このJMXの値を、Gangliaというグラフ表示の監視ツールを使って可視化しましょう。 ジョブの投入状況に合わせて、メモリやCPUの利用率が各ノード毎にグラフ化されて 見えるので、ボトルネックの発見に役立つはずです。 Gangliaのインストールは終わっているものとして・・・としたいところですが Nagiosと違って、Hadoopの各ノード側全てにインストールしなければいけないので ちょっと面倒。 rpmパッケージを作って、各ノードに配布しちゃいましょう。 まずは、Ganglia監視サーバ側を作成。 rpm化にはcheckinstallを使います。あらかじめインストールしておきます。 ビルドに必要なものを
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
