「出張！ #DevelopersIO IT技術ブログの中の人が語る勉強会」でLambdaとEventBridge Pipesを例にSQSコンシューマーの疎結合進化について語りました | DevelopersIO
「出張！ #DevelopersIO IT技術ブログの中の人が語る勉強会」でLambdaとEventBridge Pipesを例にSQSコンシューマーの疎結合進化について語りました クラスメソッド設立20周年イベント"Classmethod Odyssey"のサテライトイベントでメッセージキューについて語りました。"Odyssey"と言われて、何を思い出しますか? 弊社技術ブログ「DevelopersIO」の書いた本人が過去記事を深掘って話すという勉強会の第3回が2024/04/18に開催されました。 今回は、2006から本稼働しているメッセージキューサービスのAmazon SQSのコンシューマー処理が2014年のAWS Lambda、2022年のAmazon EventBridge Pipesの登場とともに、疎結合に進化していったことについて、re:Invent 2022の EventB
Amazon SQSワーカーのアーキテクチャーをLambdaイベントソース/EventBridge Pipes/独自の3パターンで比較してみた | DevelopersIO
各実装方式の詳細は以下のとおりです 1. Lambdaイベントソース型 Lambdaのイベントソースマッピングを利用すると、SQS・Kinesis Data Streamなど様々なソースにポーリングを行い、Lambdaを呼び出せます。 イベントソースが暗黙にポーリングやSQSメッセージの受信･削除をするため、Lambdaアプリケーションは受け取ったメッセージの処理ロジックだけを記述します。 def lambda_handler(event, context): for message in event['Records']: print(message['body']) 覚えることが少なくて済み、管理も楽なため、SQSコンシューマーの初手としておすすめできる一方で、最大の問題点はLambdaの制約に縛れることです。 メッセージ処理が15分を超えたり、10GBを超える潤沢なメモリが必要だった
AWS Lambdaが何度も繰り返し実行され請求が1000倍になった話
概要 Serverless Frameworkを利用して、API Gateway、Lambda、SQSなどを利用したシステムを運用していました。 ある日、AWSのコンソールを確認すると、今月の請求額が普段の1000倍になっていました。 詳細を確認すると、特定のLambdaが何度も実行されており、LambdaとデータソースであるDynamoDBの料金が大きくなっていました。 慌てて修正したのですが、何が原因なのかわかりにくかったので、知見として共有します。 先に結論から言ってしまうとSQSのvisibility timeoutの設定が適切にされていないのが原因でした。 構成図 API GatewayからHTTPSのリクエストを受け取って、Lambdaを実行しています。 SQSを経由して別のLambdaを非同期で実行するという比較的シンプルな構成です。 実際はDynamoDBが永続層として存在
サーバーレスアプリケーション開発におけるエラーハンドリング ~ マイクロバッチ・ストリーミングパターン ~ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
選択 第 1 回 オープニング 第 2 回 Web API パターン 第 3 回 イベント駆動のデータ加工、連携処理パターン 第 4 回 マイクロバッチ・ストリーミングパターン 第 5 回 ワークフローパターン 前編 第 6 回 ワークフローパターン 後編 マイクロバッチパターンとストリーミングパターンは、プロデューサーがメッセージを生成し、メッセージストアを介してコンシューマーがメッセージを処理するフローを持ちます。プロデューサーとコンシューマー間にメッセージストアが挟むことで、一定の数または時間の単位で複数のメッセージをまとめて処理することができます。 このように一定の単位でまとまったメッセージを処理する時のみ、動的にリソースプロビジョニングされ、それに応じたコストが発生をする点において、マイクロバッチやストリーミング形式のデータ処理も、サーバーレスと相性の良いユースケースになります。
Amazon SQSのFIFOキューの特徴を動かしながら確認してみる - ユニファ開発者ブログ
こんにちは、寒さ＆リモート勤務で運動量が激減しているWebエンジニアの本間です。 平日は1日1000歩を切ってるので、なんとかしたい...。最近引っ越しして近くに白鳥がいる池があるので、朝散歩しようかなーと思ってたりなかったり。 さて、ユニファでは非同期処理にAmazon SQSを使うことが多くなってきており、開発に利用したりいくつかブログも書いたことがありました。 tech.unifa-e.com tech.unifa-e.com しかし、利用するのは毎回標準キューのみでFIFOキューは利用したことがありませんでした。 今回、FIFOキューに関して調査する機会があり、実際にコードを書いたりして挙動を確かめることができたので、その内容を紹介しようと思います。 比較 まずはドキュメントベースで標準キューとFIFOキューの比較をしてみます。 項目 標準キュー FIFOキュー 説明 コスト ○
FIFO キューの高スループット - Amazon Simple Queue Service
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 FIFO キューの高スループット FIFO キューの高スループットAmazon SQS FIFO キューの開始方法により、1秒につきAPI に対してより多数のリクエスト数をサポートします。FIFO キューの高スループットでリクエスト数を増やすには、使用するメッセージグループの数を増やします。高スループットのメッセージクォータの詳細については、「Amazon Web Services 全般のリファレンス」の「Amazon SQS Service Quotas」を参照してください。FIFO クォータの高スループットがキュー単位のクォータについては、メッセージに関連するクォータおよびSQS FIFOキューの高スループットを実現するパーティションとデータ分散を参照してくださ
非同期処理を使いこなそう ! -第 4 回 非同期処理の設計上の検討ポイント - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
こんにちは、プロフェッショナルサービス本部アソシエイトクラウドアプリケーションアーキテクトの山森です。 7 月から連載が始まった「非同期処理を使いこなそう !」シリーズも早いもので第 4 回を迎えることとなり今回で最終回です。 みなさま、まずは今回までの連載はいかがでしたでしょうか。EC サイトを想定したワークロードを例に挙げ、 第 1 回 では非同期処理と同期処理の使い分けを説明しました。次に 第 2 回 では、非同期・同期処理のステップを説明し、実際に非同期処理を実現する上で必要な要素を解説しました。第 3 回 では、AWS サービスを活用した非同期・同期処理のアーキテクチャをお伝えしました。今回は、さらに一歩踏み込みで非同期処理を設計する上での検討ポイントを解説しながら AWS を活用したアーキテクチャをより良くしていきたいと思います。
Introducing faster polling scale-up for AWS Lambda functions configured with Amazon SQS | Amazon Web Services
AWS Compute Blog Introducing faster polling scale-up for AWS Lambda functions configured with Amazon SQS This post was written by Anton Aleksandrov, Principal Solutions Architect, and Tarun Rai Madan, Senior Product Manager. Today, AWS is announcing that AWS Lambda supports up to five times faster polling scale-up rate for spiky Lambda workloads configured with Amazon Simple Queue Service (Amazon
Implementing AWS Well-Architected best practices for Amazon SQS – Part 2 | Amazon Web Services
AWS Compute Blog Implementing AWS Well-Architected best practices for Amazon SQS – Part 2 This blog is written by Chetan Makvana, Senior Solutions Architect and Hardik Vasa, Senior Solutions Architect. This is the second part of a three-part blog post series that demonstrates implementing best practices for Amazon Simple Queue Service (Amazon SQS) using the AWS Well-Architected Framework. This blo
Amazon SQS一時キュー - Amazon Simple Queue Service
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Amazon SQS一時キュー 一時キューは、次のような一般的なメッセージパターンをリクエストと応答として使用する場合に、開発時間と展開コストを削減するのに役立ちます。一時キュークライアントを使用して、高スループットでコスト効率の高いアプリケーション管理の一時キューを作成します。 クライアントは複数のマッピングを行います。一時キュー— 特定のプロセスに対してオンデマンドで作成されるアプリケーション管理キューを、単一の Amazon SQSキューに自動的に作成します。これにより、各一時キューへのトラフィックが少ないときのアプリケーションのAPI呼び出しが少なくなり、スループットを高めることができます。一時キューが使用されなくなると、クライアントを使用する一部のプロセス
Implementing AWS Well-Architected best practices for Amazon SQS – Part 1 | Amazon Web Services
AWS Compute Blog Implementing AWS Well-Architected best practices for Amazon SQS – Part 1 This blog is written by Chetan Makvana, Senior Solutions Architect and Hardik Vasa, Senior Solutions Architect. Amazon Simple Queue Service (Amazon SQS) is a fully managed message queuing service that makes it easy to decouple and scale microservices, distributed systems, and serverless applications. AWS cust
New for Amazon SQS – Update the AWS SDK to reduce latency | Amazon Web Services
AWS News Blog New for Amazon SQS – Update the AWS SDK to reduce latency With Amazon SQS, you can send and receive messages between software components at any scale. It was one of the first AWS services I used and as a Solutions Architect, I helped many customers take advantage of asynchronous communications using message queues. In fact, Amazon SQS has been generally available since July 2006 and,
Kinesis と SQS の使い分けについて調べてみた [後編：SQS の概要を把握する。] - サーバーワークスエンジニアブログ
SQS メッセージングとは SQS の特徴 Kinesis との違い 参考リンク まとめ 余談 本記事には前編がございます。 Kinesis と SQS の使い分けについて調べてみた [前編：Kinesis の概要を把握する。] データを一時的に貯めておく役割を持つ Kinesis と SQS を比較してみようと思い、本記事を執筆しています。 それぞれを利用する場面、非機能面の充実度合い、料金面について主に触れて、比較できたら良いなと考えています。 何かのお役に立ちますと幸いです。 まずはそれぞれの機能や特徴について記載し、最後に比較をしていこうと考えています。 まだ理解が浅く、概要レベルのブログです。ご承知おきください。 後編 (本記事)では、 SQS の概要を記述し、比較しようと思います。 SQS SQS は「メッセージング」という概念と一緒に語られることが多いサービスです。 まずは
![Kinesis と SQS の使い分けについて調べてみた [後編：SQS の概要を把握する。] - サーバーワークスエンジニアブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/1040d54b0b4abd5a761ce5913f81aedf207c49a6/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fs%2Fswx-yamamoto%2F20231026%2F20231026224932.png)
サーバーレスアプリケーション開発におけるエラーハンドリング ~ イベント駆動のデータ加工、連携処理パターン ~ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
選択 第 1 回 オープニング 第 2 回 Web API パターン 第 3 回 イベント駆動のデータ加工、連携処理パターン 第 4 回 マイクロバッチ・ストリーミングパターン 第 5 回 ワークフローパターン 前編 第 6 回 ワークフローパターン 後編 イベントトリガーでサーバーレスのアプリケーションを実行させるパターンも、非常に多くのアーキテクチャで利用されているパターンになります。ファイルがアップロードされたことをトリガーに、アップロードされた画像ファイルのリサイズを行ったり、外部アプリケーションの状態変化のイベントを受け取り、後続の処理を開始するなどの要件は、様々なシステムで見受けられるかと思います。どちらのユースケースも、発生したイベントを受け取った時のみ動的にリソースが必要とされ、イベントが無いときにはリソースを開放しコストを削減したいはずであり、まさにサーバーレスと相性の良
AWSのメッセージングサービス SQS、SNS、EventBridge の主な機能比較 - Qiita
EventBridge スケジュールに従って実行する Amazon EventBridge ルールの作成 配信先のサービス SQS Amazon SQS での Lambda の使用 Lambda SNS Application-to-Application(A2A)配信先 Kinesis Data Firehose Lambda SQS HTTP/S Application-to-Person(A2P) 配信先 Email / SMS 通知 Mobile Push 通知 AWS Chatbot EventBridge Amazon EventBridge ターゲット Lambda関数 EC2インスタンス Kinesis Data Streams のストリーム Kinesis Data Firehose の配信ストリーム CloudWatch Logs ロググループ ECS タスク Syst
【実務でもよく使う】SQS × Lamda × EventBridgeで実現する非同期&バッチ処理の基本 - Qiita
概要 応答速度の改善を目的にシステムに非同期処理を組み込むことはよくあることかと思います。AWSでもSQSを利用することで比較的簡単にジョブキュー処理を実現することができます。一方で、バッチ処理との組み合わせも踏まえると、AWSのサービスの選択肢は複数存在するため分かりにくいです。 そこで、本記事では以下を整理してみました。 本記事で得られる内容 非同期処理のメリット・デメリット AWSで非同期処理・バッチ処理を実現する方法 実際にSQS × lamda × EventBridgeの組み合わせでサンプルアプリを作成 知識整理編 まず、前提となる基礎知識や非同期処理・バッチ処理を実現するために必要なAWSリソースを簡単に整理してみます。ここで紹介する内容は概要に留めるため、より詳細を知りたい方はAWSの公式ドキュメントやBlackBelt等の資料をご確認ください。 非同期処理 非同期処理とは
SQS(FIFO) + Lambdaの並列実行時のポイント - LCL Engineers' Blog
この記事はLCL Advent Calendar 2021 - 15日目です。 qiita.com バックエンドエンジニアの高良です。 LCLへの転職を機に沖縄から上京して早2年、地元と段違いの寒さにも段々と慣れてきました。 ここ最近ではRailsでの開発に加え、インフラ周りのちょっとした調整などの作業をすることも増えてきました。 その中で1点、実装方法の調査時に手間取った箇所があったので、解決のポイントを紹介しようかと思います。 SQS(FIFO)と連携しているLambdaのスケールアウト 現在海外航空券では、SQS(FIFO)+Lambdaが連携したバッチジョブが動いています。 techblog.lclco.com こちらは1日1回の実行としているのですが、条件によっては実行時間が1日を上回ってしまい、必要な処理が1日で完了しきれないという問題が発生しました。 この時Lambdaは1台
SNS、SQS、EventBridgeの違いについて調べてみる
着想の元 この記事を見ているときに「イベント駆動アーキテクチャ」といえば、EventBridgeはどうなんだっけ?と思った
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Best practices for implementing Lambda event filtering - AWS Prescriptive Guidance
SNS to Lambda or SNS to SQS to Lambda, what are the trade-offs? | theburningmonk.com