インフラエンジニアのためのHadoop情報 ログの切捨て：So-net Developer Blog：So-netブログ

Hadoopはlog4jを使って、大量のログを生成しています。連日ジョブを走らせている ような環境では、NameNodeのログ領域はGバイト単位で肥大化してディスクを圧迫します。 ログの出力ディレクトリをシステム領域と共有している場合などは、ディスク残容量 不足でシステムトラブルの原因にもなりえます。 見落としがちですが、ログの管理もやっておきましょう。 ローテーションについては、Hadoopがやってくれているので、不要なログを抑制して 不要になった古いログは削除するようにします。 ログの抑制についてですが、CDHを使う限りHDFSへのアクセスにパーミッションを設定して はいないので、HDFSへの監査ログは不要と思われます。 しかも、この監査ログがHDFSへのアクセスの度に記録されるので、肥大化の原因になって ます。 log4j.properties中に定義されている「SNamesyste

[wasai]

メモ