エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
Lambdaを大量に使うETLジョブを運用してきて発生した問題と対策を挙げていく - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Lambdaを大量に使うETLジョブを運用してきて発生した問題と対策を挙げていく - Qiita
ジョブの概要 受け取ったファイルの情報を加工して、DynamoDB、RDS、S3に必要な情報をロードしていくジ... ジョブの概要 受け取ったファイルの情報を加工して、DynamoDB、RDS、S3に必要な情報をロードしていくジョブで、StepFunctionsのMapステートを用いて、受け取ったファイル単位にLambdaを並列に実行していきます。 このファイルが50件、Map処理の中のLambdaの数が10くらい。さらにこのStepFunctions自体が並列に10個くらい動く状態です。また、各Lambdaの実行状態をEFSで管理しているため、LambdaからEFSヘのアクセスが頻繁にあります。 Lambda.Unknown "Task timed out after 900.10 seconds" 普段は2~3分で終わるような処理で処理が終わらずタイムアウトが発生したのでAWSに問い合わせたところ、"お客様が確認されたタイムアウトエラーは当該 Lambda 関数からの通信経路における一時的なネットワー