Hadoop実践シリーズの続きで、地味ながら重要な所をいきます。 CDH4+YARNの運用において、どのログを見れば良いのか、ログレベルはどのように設定するのか、というなんとも痒いところに手が届く孫の手編となります。 はじめに 本件に関連して、前回の外道式設定を若干更新してあります ここではログレベルをWARNとしています 各ノードのログ デーモンとしてのログで、HDFSとYARNに分かれてます。 ログ保存パス /etc/hadoop/conf/hadoop-env.sh
![CDH4 LogPath and LogLevel Configurations | 外道父の匠](https://cdn-ak-scissors.b.st-hatena.com/image/square/35e39cda8b3814590c09261f4b5f5c3899facf5b/height=288;version=1;width=512/https%3A%2F%2Fblog.father.gedow.net%2Fwp-content%2Fuploads%2F2015%2F11%2Fthumbnail-okinawa-2013.jpg)
CDH4 Configurations with YARN, Capacity Scheduler and Hive 前回の続きで、私がCDH4で利用している外道式設定ファイルの紹介です。 非常に手間暇かけて作成したものなので墓の下まで持って行きたいところですが、某所からの圧力と社会のために、恥ずかしながら放出したいと思います。 はじめに 言うまでもなく、参考・利用においては自己責任でお願いします ホスト名・ファイルパスは適当に変換してください descriptionの日本語は私のメモですので怪しかったらググってください 英文のみの場合はまだ未検証だったり説明するまでもないものになっています 2ヶ月以上これで運用していますが、まだまだ変わると思うので更新日付を書いておきます ファイルはUTF-8です Hadoop設定 CDH3からCDH4への設定変更リスト core 公式 core-def
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く