EmbulkをFargateのタスクスケジューリングで定期的に実行してMySQLからS3へファイルを出力するコンテナ作った - Qiita
EmbulkをFargateのタスクスケジューリングで定期的に実行してMySQLからS3へファイルを出力するコンテナ作ったAWSDockerECSEmbulkFargate 修正中。ですます調がおかしかったりします。 構成 RDS → Fargate(embulk) → S3 メリット 動的な設定はすべてFargateの環境変数から取得するので、異なるクエリで異なるファイルに出力したいといった場合でも、Dockerをビルドし直すことなく、AWSのコンソールからFargateの新しいタスクを作成するだけで、実現可能です。 デメリット Lambdaでもそうですが、Fargateもサーバレスなしくみなので、同時実行数が増えると、DB負荷は上がります。 短い間隔でファイル出力するタスクを複数並列で設定したら、DB負荷を気にしてあげてください。 モチベーション RDS(Amazon Aurora≒M
AWS Batchを検討したけどAWS Fargateを採用した話 | QUARTETCOM TECH BLOG
はじめに 弊社で開発している Lisket では外部APIに大量のリクエストを行っています。このたび、ビジネス的な要請からアプリケーションの要件を変更することになり、それを機に外部APIへの大量リクエストのインフラアーキテクチャもブラッシュアップすることになりました。 要件は以下です。 バッチ処理の主な振舞は外部APIへのリクエスト。 単位時間あたりに要求されるバッチ処理は10,000件を超えることもあるし数件のこともある。 外部APIは単位時間あたりのリクエスト数に上限を設けている。よってその範囲内でリクエスト数をコントロールしたい。 最大件数が増加しても6時間以内くらいでは終わってほしい。 バッチ処理の所要時間については、ほとんどが2,3秒で終わる。稀に数分かかることもある。 バッチ処理は互いにステートレス。順番や依存はない。 AWS Batchでやってみる AWS Batch とはそ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
