YARN＋Capacity Schedulerのリソース調整 | 外道父の匠前記事で説明したYARNでのメモリ設定と並列度は、Capacity Schedulerとして特に上限を定めずに、総リソースに対してフルに動作しようとする状態における説明でした。 今回は、それに対してさらにCapacity Schedulerの機能を活用して、様々な条件でリソース上限を設定する方法を記します。 Capacity Schedulerの設定ファイル $HADOOP_CONF_DIR/capacity-scheduler.xml です。 公式の詳しい説明は Hadoop Map Reduce Next Generation-0.23.1 – Capacity Scheduler 設定例はこちらになります。 capacity-scheduler.xmlの例 <queue-path>について Capacity Schedulerにおいて最も重要な割にあまり説明がなく挫折を誘う単語がこち
