Amazon ECS ScheduledTaskで実現するスマートなDockerベースのバッチ実行環境 - コネヒト開発者ブログ

こんにちは。インフラエンジニアの永井(shnagai)です。 コネヒトでは、開発環境に続き、続々と本番サービスにもDockerを導入しています。 今回は、中々運用が大変なcronでスケジュール管理するような定期的なバッチ処理を、Amazon ECSのScheduledTaskを使ってDocker駆動な環境で構築した話です。 他の方法との比較やどのように実現しているのかについて紹介したいと思います。 今回対象とするバッチの種類 今回対象とするバッチ処理は、俗に言うスケジュール系のバッチ処理で、毎日00時00分や10分毎にサイクル起動等、事前に定義した時間に正確に動くことが期待されているものです。 ※ジョブキュー形式のバッチだと、AWS BatchやEBのWorkerもしくは、SQS + Cron on EC2で処理するほうがスマートかと思います。 実行方式の選定 上記要件のバッチを実現する基

[nagais]

AWS ECSを使ったバッチ環境の構成について書きました!

[masutaka26]

裏は CloudWatch Event です。既に登録された Rule を参考にして、aws-sdk とかから登録すればよろしいかと。"ScheduleTaskのAPIがなく、手動で登録しなければいけない"

[rrrkaneko]

APIはまだないのか。

[kent-where-the-light-is]

“「枯れてない」「使ったことない」というところは少し気になりましたが、ECSの知見が溜まっておりイケるという感覚があったので採用に至りました。 しいていうなら、ScheduleTaskのAPIがなく、手動で登録しなければいけ

[sisijumi]

社内アーキテクチャの参考にさせていただきます

[rjge]

手動登録しないといけないこと以外はよさげな感じ。GUI使いやすそうだしバッチ数限られてるならありだなー。

[dekokun]

AWSでのbatch実行パターンがまとまってる。

[toyama0919]

よい

[y___u]

これからやろうと思ってることだ

[nyasba]

こんな機能もあるのか。

[akitsukada]

スケジュールドなバッチ処理パターン on AWS まとめ

[progrhyme]

他の方法との比較もあって参考になる。

[akulog]

この規模なことが出来るように稼がなければ。。。

[lizy]

EBのワーカー環境でも良さそう。余計なインスタンスが1個必要になるけど

[u1tnk]

kuroko2にしたから現状では問題無いけど、手軽に始めるときはこれ一択な気がする。知ってたら繋ぎで使ったのに…

[kakku22]

ECS : Scheduled Tasks を活用したバッチ基盤の事例だー．シンプルだし，運用も考慮されているし，真似したい

[riywo]

楽チン！