Spark（on EMR）のパラメータを確認してみた - Qiita

背景・目的 こちらの、Amazon EMR で Spark アプリケーションを成功させるための設定を読み解いて、SparkやEMRのパラメータの理解を深めてみます。 まとめ Sparkは、メモリを使用して並列分散処理を行うため、メモリへの依存が大きく問題が発生しやすい。代表的なエラーは下記のようなものがある。 メモリ不足エラー（Java Heap Space） メモリ不足エラー（物理メモリの超過） メモリ不足エラー（仮想メモリの超過） メモリ不足エラー（Executorメモリの超過） ベストプラクティスは、下記の通りです。 ワークロードにあわせて、適切なインスタンスタイプと数を設定する。 適切なサイズが決まっていなければ、spark.dynamicAllocation.enabledをFalseにしてサイジングする。 spark.dynamicAllocation.initialExecu