Lambda＋SQS 構成での可視性タイムアウトに気を付けよう! | DevelopersIO
こんにちは、稲葉です。 最近、Lambda＋SQS 構成での開発で可視性タイムアウトの設定で躓いた箇所があった為、 その共有と対処法について、今回記事にしたいと思います。 躓いた箇所 Lambda＋SQSで構成して、SQSからのメッセージをトリガーにしてLambdaを実行していました。このLambdaは最大4回ループ、また1回の処理でも比較的時間がかかる処理を行います。 実際に動かしてみた所、処理が完了したはずなのに再実行されるといった意図しない動作をしました。そのため、まずはLambdaのログを確認。しかし、ログを確認した所、エラーは発生しておらず正常に動作してました。 となると、問題があるのはSQS の設定だと考え、色々調べた結果。遂に、原因を突き止めました！ ズバリ、可視性タイムアウトの設定が原因でした！ と言うより、可視性タイムアウトは特に設定していなかったため、デフォルトの30秒
AWS でバッチ処理・定期実行する4つの方法
4つのバッチ処理・定期実行方式の詳細情報それぞれのバッチ処理・定期実行方式について詳細を見ていきます。 EC2について使用するAWSサービスEC2 処理概要Linux系OSで用いられる定時実行機能であるcronのコマンドを使用する メリット昔からよく使われているcronの知識が使える デメリットEC2インスタンスを起動しておく必要があり、使っていない時間もコストがかかる 障害に弱い。EC2サーバに障害があると終わる サーバが複数になると管理が大変 SQS×ECS使用するAWSサービスEventBridge SQS ECS 処理概要EventBridgeでキューを生成。ECSコンテナでキューを取得して実行する メリットECSを起動しておくため、コンテナの起動時間を要さない。 デメリットEventBridgeでキューを生成するが、EventBridgeはまれに1 つのイベントに対して複数回トリ
AWS Lambda with SAM Template to subscribe an SQS to an SNS Topic.
This block diagram describes an SNS Topic that has an SQS Subscription and a Lambda that fires off when a message is received by the SQS Queue. If you are like me, you created a simple SAM Template that defined the Lambda AWS::Serverless::Function definition that has an SQS Queue as its event source. While that is most of the solution you would find that messages never flow into your SQS Queue. Yo
[チュートリアル] Amazon SQSメッセージを処理するLambda関数を作成してみた | DevelopersIO
こんにちは、CX事業本部 IoT事業部の若槻です。 Amazon SQSは、AWS上で疎結合でスケーラブルなシステムを実装するのに役立つフルマネージド型のメッセージキューイングサービスです。 Amazon SQS（サーバーレスアプリのためのメッセージキューサービス）| AWS しかし私は今までAmazon SQSを使う機会がなかなか無く、いい加減触ってみようかなと思っていたところ、ちょうど良さそうなチュートリアルを見つけたので、今回やってみました。 やってみた やってみたのは、次のAmazon SQSメッセージを処理するLambda関数を作成するチュートリアルです。 チュートリアル: Amazon SQS で Lambda の使用 - AWS Lambda 実行ロールを作成する Lambda関数実行用のIAMロールを作成します。 https://console.aws.amazon.com
![[チュートリアル] Amazon SQSメッセージを処理するLambda関数を作成してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d031615888fd78a047f61d34a19cd8209cb8b123/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Famazon-sqs.png)
AWSでバッチ処理を実装する際の選択肢とサービス比較
処理が複雑でジョブの依存関係を定義したい場合は、AWS Batch 単体で制御するか、より複雑な場合は Step Functions を用いて Lambda、ECS（Fargate）、AWS Batch（Fargate） を組み合わせる。 AWSにおけるバッチ処理の選択肢 ざっくりとした選択肢は下記。 Lambda ECS（Fargate） AWS Batch（Fargate） これらのサービスに実際は SQS や Step Functions を組み合わせることもあるので選択肢はさらに広がる。 ちなみに、SQS + Fargate（常時起動でポーリング） という構成や、SQS + Lambda + Fargate（都度実行） という構成は、AWS Batch が Fargate に対応した現在は特にメリットがないので取り扱わない。 2021/5/2 追記 「常時リクエストがくるユースケー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
