http://dongxicheng.org/
YARN＋Capacity Schedulerのメモリと並列処理 | 外道父の匠
YARN＋Capacity Schedulerにおけるメモリ計算方法とMapReduceの並列処理数について、ここまで調べたことを記しておきます。 MRv1とは全く違う考え方なので、適当にせずきっちり理解しておいた方がよいと思います。 YARNデーモンのメモリ設定 ヒープサイズ Resource ManagerやNode Managerのことですが、メモリの設定は yarn-env.sh でやることになります。プロセスで見ると -Xmx1000m とかになっている部分ですが、当然この値を変えられるように知っておく必要があります。 一見、JAVA_HEAP_MAX を変えればよさそうに見えるのですが、これを変更しても反映されません。なので、/etc/init.d/hadoop-yarn-resourcemanager を追ってみると、/usr/lib/hadoop-yarn/bin/yarn
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[Note] Hadoop
Some Hadoop 2 entities
CDH4 LogPath and LogLevel Configurations | 外道父の匠
