CapacitySchedulerでのリソース管理 - okzkメモ
前のエントリでは各ノードのメモリ管理について書いたので、次にクラスタ全体のリソース管理として CapacitySchedulerについてのメモです。 なお、CDH4.1.2で試した結果ですので、最新のバージョンとは(ry CapacitySchedulerについて クラスタ上では同時に様々なmapreduceを実行するのが普通だと思います。 CapacitySchedulerを利用すると、各jobごとに重要度に応じて、柔軟なリソース割り当てを行うことができます。 詳細は以下を確認してください。 http://archive.cloudera.com/cdh4/cdh/4/hadoop/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html 以下、微妙に気になったトコをメモしていきます。 rootのcapacity設定は必須 自明なのでなくても
Hadoop Operations Powered By ... Hadoop (Hadoop Summit 2014 Amsterdam)
Hadoop Operations Powered By ... Hadoop (Hadoop Summit 2014 Amsterdam) At Spotify we collect huge volumes of data for many purposes. Reporting to labels, powering our product features, and analyzing user growth are some of our most common ones. Additionally, we collect many operational metrics related to the responsiveness, utilization and capacity of our servers. To store and process this data, w
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
HugeDomains.com
SequenceIq.com is for sale | HugeDomains
