EmbulkをFargateのタスクスケジューリングで定期的に実行してMySQLからS3へファイルを出力するコンテナ作ったAWSDockerECSEmbulkFargate 修正中。ですます調がおかしかったりします。 構成 RDS → Fargate(embulk) → S3 メリット 動的な設定はすべてFargateの環境変数から取得するので、異なるクエリで異なるファイルに出力したいといった場合でも、Dockerをビルドし直すことなく、AWSのコンソールからFargateの新しいタスクを作成するだけで、実現可能です。 デメリット Lambdaでもそうですが、Fargateもサーバレスなしくみなので、同時実行数が増えると、DB負荷は上がります。 短い間隔でファイル出力するタスクを複数並列で設定したら、DB負荷を気にしてあげてください。 モチベーション RDS(Amazon Aurora≒M
![EmbulkをFargateのタスクスケジューリングで定期的に実行してMySQLからS3へファイルを出力するコンテナ作った - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/6a1f919504efe06a17ebca67a506edc8a5861d25/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9RW1idWxrJUUzJTgyJTkyRmFyZ2F0ZSVFMyU4MSVBRSVFMyU4MiVCRiVFMyU4MiVCOSVFMyU4MiVBRiVFMyU4MiVCOSVFMyU4MiVCMSVFMyU4MiVCOCVFMyU4MyVBNSVFMyU4MyVCQyVFMyU4MyVBQSVFMyU4MyVCMyVFMyU4MiVCMCVFMyU4MSVBNyVFNSVBRSU5QSVFNiU5QyU5RiVFNyU5QSU4NCVFMyU4MSVBQiVFNSVBRSU5RiVFOCVBMSU4QyVFMyU4MSU5NyVFMyU4MSVBNk15U1FMJUUzJTgxJThCJUUzJTgyJTg5UzMlRTMlODElQjglRTMlODMlOTUlRTMlODIlQTElRTMlODIlQTQlRTMlODMlQUIlRTMlODIlOTIlRTUlODclQkElRTUlOEElOUIlRTMlODElOTklRTMlODIlOEIlRTMlODIlQjMlRTMlODMlQjMlRTMlODMlODYlRTMlODMlOEElRTQlQkQlOUMlRTMlODElQTMlRTMlODElOUYmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPTFlZGYyNzNkY2M5YThlNzA3YzQ0OWZhNzE0MDhjZmE0%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBhaXJ0YW5rZXImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTQ3OWFlZjZjZDM2YzU4OTNlMDdkMjYzOTg2MzY3YTM4%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D0668463d8c8b23e275f4e9692e28e43a)