董的博客 | {关注大规模数据处理，包括Hadoop，YARN，Spark，Flink，Presto等}Hulu整个AI Platform可以分为三层，从上到下依次是AI服务层，ML数据层，基础架构层。AI服务层主要是用于线上模型管理和部署，涉及到CICD, 监控，负载均衡等服务相关内容。ML数据层则包含了机器学习所用到的数据源，包含经过多个ETL pipeline清洗后生成的用于存放特征的数据仓库。最底层则是基础架构层，包括分布式存储，计算和调度等等，本文重点介绍这一层。
YARN＋Capacity Schedulerのメモリと並列処理 | 外道父の匠
YARN＋Capacity Schedulerにおけるメモリ計算方法とMapReduceの並列処理数について、ここまで調べたことを記しておきます。 MRv1とは全く違う考え方なので、適当にせずきっちり理解しておいた方がよいと思います。 YARNデーモンのメモリ設定 ヒープサイズ Resource ManagerやNode Managerのことですが、メモリの設定は yarn-env.sh でやることになります。プロセスで見ると -Xmx1000m とかになっている部分ですが、当然この値を変えられるように知っておく必要があります。 一見、JAVA_HEAP_MAX を変えればよさそうに見えるのですが、これを変更しても反映されません。なので、/etc/init.d/hadoop-yarn-resourcemanager を追ってみると、/usr/lib/hadoop-yarn/bin/yarn
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[Note] Hadoop
Some Hadoop 2 entities
CDH4 LogPath and LogLevel Configurations | 外道父の匠
