AWS Step Functionsでバッチ処理を行う手段を考える - Qiita

はじめに JP1を代表するジョブ管理ツールをAWSで実現するにはどうするか、について検討したことをまとめておきます。 単一のバッチ処理では無くて、依存関係があるものを考えるのでStep Functionsを前提に考えました。 依存関係があるというのは、 JobAが毎日午前7時に実行される JobBはJobAが完了したら実行される JobBが完了したらJobCとJobDが同時に呼ばれる のような構造のことをイメージしています。 Step Functionsとの組み合わせ案 Step Functionsから呼び出せるものの中でバッチに使えるものは大きく分けると以下の3つです。 AWS Lambda AWS Batch AWS Fargate それぞれの比較はこちらの記事が大変参考になりました。 順番に特徴を見ていきます。 Lambda シンプルで運用しやすい 実行時間15分以内という制限がある