エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
EMRがsparkに標準対応したのでBootStrapActionから切り替えた - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
EMRがsparkに標準対応したのでBootStrapActionから切り替えた - Qiita
特に何も考えずに切り替えても動いたが、何故かジョブの実行時間がものすごく伸びた 調査するとbootStra... 特に何も考えずに切り替えても動いたが、何故かジョブの実行時間がものすごく伸びた 調査するとbootStrapActionではspark-defaultに設定してくれていた以下の設定がaws標準だとなくなっていた /home/hadoop/spark/conf/spark-default.sh spark.executor.instances 5 spark.executor.cores 8 spark.executor.memory 9404M spark.default.parallelism 40 STEP_ID=`aws emr add-steps --cluster-id $EMR_CLUSTER_ID --steps \ Type=CUSTOM_JAR,Name="$STEP_NAME",\ Jar=s3://ap-northeast-1.elasticmapreduce/lib