![](https://cdn-ak-scissors.b.st-hatena.com/image/square/ae54ed3965c9d5bb721f84afac95202b6a5d24cc/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fjune28550netflixshankar-160711175737-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Producing Spark on YARN for ETL
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Producing Spark on YARN for ETL
This document discusses Netflix's use of Spark on Yarn for ETL workloads. Some key points: - Netf... This document discusses Netflix's use of Spark on Yarn for ETL workloads. Some key points: - Netflix runs Spark on Yarn across 3000 EC2 nodes to process large amounts of streaming data from over 100 million daily users. - Technical challenges included optimizing performance for S3, dynamic resource allocation, and Parquet read/write. Improvements led to up to 18x faster job completion times. - Pro