Lambda＋SQS 構成での可視性タイムアウトに気を付けよう! | DevelopersIO
こんにちは、稲葉です。 最近、Lambda＋SQS 構成での開発で可視性タイムアウトの設定で躓いた箇所があった為、 その共有と対処法について、今回記事にしたいと思います。 躓いた箇所 Lambda＋SQSで構成して、SQSからのメッセージをトリガーにしてLambdaを実行していました。このLambdaは最大4回ループ、また1回の処理でも比較的時間がかかる処理を行います。 実際に動かしてみた所、処理が完了したはずなのに再実行されるといった意図しない動作をしました。そのため、まずはLambdaのログを確認。しかし、ログを確認した所、エラーは発生しておらず正常に動作してました。 となると、問題があるのはSQS の設定だと考え、色々調べた結果。遂に、原因を突き止めました！ ズバリ、可視性タイムアウトの設定が原因でした！ と言うより、可視性タイムアウトは特に設定していなかったため、デフォルトの30秒
【AWS】楽々SQS解説〜5分で理解〜 - Qiita
はじめに SQSを使用した際のメモを、わかりやすくまとめてみました。 pythonのコードも載せたので、ぜひ活用してみて下さい。 概要：フルマネージドのキューサービス Amazon Simple Queue Service (SQS) は、完全マネージド型のメッセージキューイングサービスで、マイクロサービス、分散システム、およびサーバーレスアプリケーションの切り離しとスケーリングが可能です。 使用するメリットとして、キューとしての非同期処理の実現に加え、AWSの持つ高い障害耐性と処理性能を得ることができます。 上司に説明する際は、この公式URLをみて貰えばいいと思います。 ユースケース キューは単体で使用するものではないため、どのような場合で使用するのかに一番関心が置かれます。 基本的に以下のパターンに合致した場合、一度SQS使用の検討を行って下さい。 SQSを採用することで、処理の信頼性
SQS を使った Python の非同期ワーカーは ndkale しかない - kawasin73のブログ
誰一人見捨てない!!! どうも、かわしんです。Celery は見捨てるんです。 この記事は Pythonその2 Advent Calendar 2019 の 15 日目の記事です。 やや強めのタイトルですが、AWS SQS を使った非同期ワーカーでまともな実装は ndkale しかないという内容です。Celery は論外です。 github.com 前半はディスってばっかりなので、ndkale のことだけを知りたい場合は途中の「大本命 ndkale」から読んでください 前提としての欲しい機能 まず、諸々をディスる前に非同期ワーカーとして欲しい機能をあげておきます。 正しく SQS を使って信頼性のあるタスク実行をする 即時再実行をする 複数のキューを使い分ける。また同じタスクでも動的に利用するキューを切り替えたい Dead Letter Queue も使えると嬉しい まず Celery を
Amazon SQSでFIFOだからってシステム全体が Exactly-Once になると思ったら大間違いだっていう話 - Smoky God Express
TL; DR Amazon SQS で Exactly-Once なキューを使おうとも冪等な処理を書くべき キューが Exactly-Once であるという性質はシステム全体が Exactly-Once になることを保証できない 結局マルチデータソースへの書き込みの問題が残る Designing Data-Intensive Applications (邦訳: データ指向アプリケーションデザイン） が良書でした 邦訳は未読1ですが原著の内容がいいのできっとだいじょうぶでしょう Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems 作者: Martin Kleppmann出版社/メーカー: O'Reilly Media発売日: 2017/
Go と Ruby と Amazon SQS と ElastiCache で分散して動かせるクローラを書いてみた - Qiita
Go と Ruby と Amazon SQS と ElastiCache で Ranunculus というクローラを書いてみました。 正確には書きかけなのですが、もう日曜日が終わってしまうので、とりあえずまとめておくことにします。 Ruby Gem https://rubygems.org/gems/ranunculus その Gem のコード https://github.com/k-kawa/ranunculus-ruby Go のコード https://github.com/k-kawa/ranunculus なんで作ろうと思ったのか 理由は 3 つあります。 1 つめは、Ruby で使えるよいクローラが見つからなかったからです。 Python には Scrapy という、クローラのためのいたれりつくせりなライブラリがあります。 ところが、Ruby にはそういういい感じのライブラリが
shoryuken gemで簡単にSQSを使ったJob Queue WorkerをRailsに作成する | DevelopersIO
丹内です。 掲題のとおり、SQSを簡単に使うことができるshoryuken gemを使ってみました。 前提 ruby 2.2.4 rails 4.2.5 マネジメントコンソールでSQSの作成 AWSマネジメントコンソールのSQS画面から新規にキューを作成します。 Shoryukenによる負荷が抑えられるよう、Receive Message Wait Timeの設定を忘れないようにしてください。 インストール Gemfileに以下のように書いてbundle installします。 gem 'shoryuken' group :development, :test do gem 'foreman' end あとで解説しますが、railsアプリとは別にworkerプロセスも立ち上げるので、便利になるようforemn gemもインストールしています。 Jobクラスを作成 Shoryuken::Wo
Using custom policies with the Amazon SQS Access Policy Language - Amazon Simple Queue Service
Using custom policies with the Amazon SQS Access Policy Language If you want to allow Amazon SQS access based only on an AWS account ID and basic permissions (such as for SendMessage or ReceiveMessage), you don't need to write your own policies. You can just use the Amazon SQS AddPermission action. If you want to explicitly deny or allow access based on more specific conditions (such as the time t
suz-lab.com - suz lab リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
Amazon SQSを利用してS3からRedshiftにデータ投入するRinというツールを書いた - 酒日記 はてな支店
fluentdで集約したログをRedshiftに投入するのに、これまでは fluent-plugin-redshift を使っていたのですが、諸々の理由でこれを置き換えるツールをGoで書きました。 Rin - Redshift data Importer by SQS messaging. プロダクション環境に投入して、2週間ほど快調に動作しているので記事を書いておきます。 アーキテクチャと特徴 S3にデータが保存されたタイミングで、Amazon SNS または SQS にメッセージを飛ばすイベント通知機能がありますので、それを利用しています。 (何者か) S3 にデータを保存する (fluent-plugin-s3, その他どんな手段でも可) (S3) SQS に S3 の path 等が記述されたメッセージを通知する (Rin) SQS のメッセージを受信し、Redshift へ CO
AWSにおけるバッチ処理の ベストプラクティス - Developers.IO Meetup 05
This document provides an overview of Elastic Load Balancing (ELB) on AWS. It discusses the different types of ELBs (Application Load Balancer, Network Load Balancer, Classic Load Balancer), their key features and how they can be used to build scalable and highly available systems by distributing traffic across multiple Availability Zones and targets like EC2 instances or ECS containers. It also c
[セッションレポート]How Dropbox Scales Massive Workloads Using Amazon SQS #reinvent | DevelopersIO
re:InventにてDropboxがSQSをどのように大規模に使っているのか、というセッションを聴講してきました。以下に内容を箇条書きで残しておきます。 内容まとめ Dropboxにとって「同期」というものが最もコアな競争力 共有 コラボレーション 「同期」を実現するための課題: いかにして巨大なワークロードを、アップロードされたその瞬間に実施するか。 アップロードされた後、ファイルの種類によって様々な処理を実施し、メタデータを取得する必要がある。 画像ファイル: EXIFの取得、サムネイル取得 動画ファイル: エンコード などなど 同期時の処理は以下の制約を満たす必要がある 低レイテンシ 高スループット 様々な処理への柔軟な対応 Dropboxではこれまでに様々なアーキテクチャを試してきた 最初に、オンプレのDropbox環境でファイル処理しS3へと保存する構成 問題点: オンプレとA
![[セッションレポート]How Dropbox Scales Massive Workloads Using Amazon SQS #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9f822a733dd20e28505900c2cfb90a863cdb365a/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F11%2Fre_invent_eyecatch.png)
【AWS】SQSキューの前には難しいこと考えずにSNSトピックを挟むと良いよ、という話 | DevelopersIO
よく訓練されたアップル信者、都元です。SQSはみなさん使われていますでしょうか。複数のコンポーネント間の疎結合を保ち、バッチ処理等の冗長性・拡張性を確保するために必要不可欠なサービスです。 SQSの活用イメージにつきましては、AWSでジョブWorkerを構成するベストプラクティスのSQSの巻やBeanstalk worker tierの巻をご覧いただくと良いと思います。 さて。SQSを使うぞ、ということになった場合。メッセージを投げる側（＝プロデューサ）と、メッセージを受け取る側（＝コンシューマ）が必要です。どこかから持ってくる（実装済みの既成品を探してくる）か、もしくは自分自身で実装するわけです。 もちろん、プロデューサはSQSのインターフェイス（API）を理解し（依存し）ていなければなりません。要するに、キューにメッセージを投入する方法を知っており、それを使ってメッセージを投げるような
AWSでジョブWorkerを構成するベストプラクティス 〜 Brianの巻 | DevelopersIO
よく訓練されたアップル信者、都元です。ここまで「AWSでジョブWorkerを構成するベストプラクティス」と題して2本の記事を書いてまいりました。SQSの巻では、バックグラウンドジョブの実行にはSQSを使ってスケーラビリティを確保しようという、下図中の中段の話をしました。続いてBeanstalk worker tierの巻では、Workerの実装方法として、図中の下段の話をしました。今回は、上段の話です。 ジョブスケジューリング ここまでの話では「ジョブは、ユーザからのWebサーバへのリクエストに伴って発生する」という暗黙の前提で進めてきました。具体的には動画のエンコーディングや、少々時間の掛かる集計処理等をイメージして頂いたと思います。 しかし、ジョブというのは「ユーザのリクエスト」に起因して発生するばかりではありません。ユーザからのリクエストに関わらず「定期的な繰り返し」という、スケジュ
AWSでジョブWorkerを構成するベストプラクティス 〜 SQSの巻 | DevelopersIO
よく訓練されたアップル信者、都元です。AWSでシステム構築をする場合は、Design for failureという考えに基いて、複数AZにまたがる形の冗長構成を組むのがベストプラクティスです。さらに、このように分散させた各インスタンスには、出来る限りマスターを作らない、つまりSPOFとなるインスタンスを避ける構成であるのが理想です。 という話題については以前AWSにおける可用性の考え方というエントリーでも書きました。 可用性 (availability) と拡張性 (scalability) 本題はジョブWorkerですが、WebサーバやDBサーバの可用性と拡張性を先におさらいしておきましょう。 Webサーバ この考えで構築する最も基本的な構成が、Webシステムにおける ELB + Webサーバ の構成です。この構成マルチAZと呼び、片方のAZが丸ごとダウンしたとしても、サービス自体はダウ
Amazon SQSの使いどころ 実際編
PDFを作る処理をWeb上でやります。このPDFを作るには、最低でも数分かかる事が解っています。したがって、PDFが出来たら、ユーザーにメールでお知らせする事にします。 ここでは、フロントエンドにRuby on Railsを、バックエンドにJavaを用いています。両者は同一のデータベースを参照出来るようになっています。言い換えると、両者で共有している部分はデータベースだけで、粗な結合になっています。 フロントエンドの役割は、ユーザーと直接対話する事です。ここでは、PDF作成受付画面と、受付完了画面の表示を行います。 動きを解説する前に、少しデータベースに関して書いておきます。データベースは、ごく一般的なRDBを使用し、PDF作成ジョブを表す「Jobs」というテーブルを用意してあります。 このJobsテーブルは、このように定義してあります。 CREATE TABLE jobs ( id SE
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Auto-scaling-of-ECS-Containers-based-on-SQS-metrics
20150207 サービス紹介編 Amazon Simple Queue Service (SQS)