AWS でバッチ処理・定期実行する4つの方法(EC2,EventBridge,SQS,ECS,Lambda)

AWS上でバッチ処理を行う場合に、 どのAWSサービスが選択肢として考えられるかどのAWSサービスを選択すればいいのかについて考えていきます。 AWSでバッチ処理・定期実行する方法を4つ紹介し、それぞれ特徴やメリットとデメリットがありますので、この点について記載していきます。 バッチ処理・定期実行方式のパターンと特徴を知って適切な手段を選択しよう！という記事です。 まずはどのような構築方法があるかについて記載していきます。

[Magicant]

AWS Batch に何も言及がないのはなぜ

[joker1007]

今は、基本的に初手からEventBridgeとStepFunctionでいい。後は必要に応じて実行基盤切り替えればいいだけで共通のインターフェースで処理できる。

[odakaho]

AmazonLinux2023でcronなくなったじゃん

[Lumin]

全部のケースでeventbridgeからstepfunctions→lambdaでいいです。15分以上かかる処理はsf内で分割しましょう。どうやっても分割できないものが出てきて初めて他の手段を考えましょう。

[blue1370]

拝読させて頂きました

[integrated1453]

ECSタスクスケジューリングだとコンテナ側で多重起動対策できても、ENI作成タイムアウトやエラーで実行できない場合があるから、EventBridge+Step Functions+ECSでStep Functionsからリトライできるようにしておくのがいいと思う

[daishi_n]

CloudWatch EventsはEventBridgeに統合されたから「そういうのあったね」くらいの歴史観。確かにAWS Batchがないけど、AWS BatchはEventBridgeと同じタスク管理がメインだからね。そういやジョブ制御はStep Functionsもあったか