エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
AWSブログのEMRでSparkを使う際のベストプラクティスを試してみる - Qiita
記事へのコメント1件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
AWSブログのEMRでSparkを使う際のベストプラクティスを試してみる - Qiita
概要 先日、AWSブログで「Amazon EMR で Apache Spark アプリケーションのメモリをうまく管理するための... 概要 先日、AWSブログで「Amazon EMR で Apache Spark アプリケーションのメモリをうまく管理するためのベストプラクティス」という記事が公開されました。 恥ずかしながら、普段、EMRの設定はmaximizeResourceAllocationを利用しており、あまりしっかりとやったことがなかったので、こちらの内容を参照し、具体的にどの値がどのように変わるのか、またどのくらい効果がありそうなのかを確認しました。 検証 検証内容 同じ構成のEMRクラスタにおいて、maximizeResourceAllocationを有効にした場合とベストプラクティスの方針を実施した場合とで、リソースに関連する各設定値がどのように変わるかを比較する。 それぞれの方針で設定したEMRを、便宜上maximizeResourceAllocationとベストプラクティスと呼ぶこととします。 maxi