Amazon's SQS performance and latency
Software DevelopmentDiscovery WorkshopsPerformant BackendsData-Intensive FrontendsLegacy Systems MigrationLeadershipTechnology PartnerFractional CTO/ArchitectArchitectureSoftware Audit & ConsultingCybersecurity ServicesAI and MLMLOpsBespoke AI ChatbotsScience as a ServiceComputer VisionOperationalCloud Cost ReductionDevOps as a ServicePlatform EngineeringDeveloper ExperienceObservability Services
CloudWatch + SQS でバッチサーバー冗長化のために実装した「sqsjkr」の話 - KAYAC Engineers' Blog
Lobiの吉村(moulin)です。今回はCloudWatch + SQSのバッチサーバ冗長化のために作成した「sqsjkr」についてご紹介します。また、sqsjkrはGo実装です。 github.com 目次 背景 sqsjkrについて 運用について 背景 バッチサーバーとは、マシンリソースの消費が高い処理を定期的に実行させたい場合、本体アプリケーションに影響が及ばないようにするために建てられるバッチ処理専用のサーバーを指し、Lobiでも様々なバッチ処理を実行するサーバーを建てています。 バッチサーバーはcrontabが設定されているものが1台、バックアップとして同じ構成でcrontabが設定されていないものが1台起動しており、cronを実行するサーバーに障害が発生した場合は、手動でcrontabをバックアップのサーバーに設定することでフェイルオーバーする運用をしていました。 しかし、バ
AWSアカウントを跨いでSQSのメッセージを送信するパターン集 | DevelopersIO
大栗です。 多数のシステムを運用するときは、システムに応じてAWSアカウントやVPCを分けて配置することを検討します。システム間で疎結合にメッセージを交換するためにSQSを多用しますが、AWS構成は色々と考えられます。パターンによってメリット・デメリットがあるのでまとめてみました。 参考：AWSアカウントとVPC、分ける？ 分けない？: 分割パターンのメリット・デメリット AWSアカウントを跨ぐSQS使用で検討すべきこと AWSアカウントを跨いでSQSでメッセージを送信する場合には、以下の様なことを検討する必要があります アクセス権限は？（送信元アカウントと送信先アカウントの権限） SNSを使う？使わない？ どっちのアカウントに配置する？（送信元アカウントと送信先アカウント） アクセス権限 AssumeRoleによる異なるアカウントの権限の取得 アカウントを超えて一般的なAWSリソースにア
New for Amazon Simple Queue Service – FIFO Queues with Exactly-Once Processing & Deduplication | Amazon Web Services
AWS News Blog New for Amazon Simple Queue Service – FIFO Queues with Exactly-Once Processing & Deduplication As the very first member of the AWS family of services, Amazon Simple Queue Service (Amazon SQS) has certainly withstood the test of time! Back in 2004, we described it as a “reliable, highly scalable hosted queue for buffering messages between distributed application components.” Over the
Now Send Payloads up to 2GB with Amazon SQS
Amazon Simple Queue Service (SQS) now has an Extended Client Library that enables you to send and receive messages with payloads up to 2GB. Previously, message payloads were limited to 256KB. Using the Extended Client Library, message payloads larger than 256KB are stored in an Amazon Simple Storage Service (S3) bucket, using SQS to send and receive a reference to the payload location. Large paylo
Amazon Simple Queue ServiceとエンタープライズWebサービス:Kenn's Clairvoyance
今回は技術トピック。 アマゾンWebサービスから「Simple Queue Service (Beta)」がベータリリースされた。 キュー（待ち行列）というのは、要はイベントが発生する頻度についてヒマなときとピークのときで差が激しい場合、それを平準化するためのバッファのことである。 ただのバッファだから、性能要件から言っても根本的なスループットの不足を補うものではない。そう言ってしまえばそれだけなのだけれども、応用次第で性能要件を超えたところで味のある技術でもある。 単純なものではWebサーバに実装されているキュー（ApacheにおけるListenBacklogディレクティブ）がいい例である。アクセスが集中しているとき、プロセス（あるいはスレッド）のプール数が足りなければ、とりあえず溢れたリクエストはキューに突っ込んでおいて、順番が回ってきたらそれを処理してレスポンスを返すし、いつまで待っ
Evaluating persistent, replicated message queues
Software DevelopmentDiscovery WorkshopsPerformant BackendsComplex FrontendLegacy Systems MigrationLeadershipTechnology PartnerFractional CTO/ArchitectArchitectureSoftware Audit & ConsultingAI and MLAI-Assisted DevelopmentBespoke AI ChatbotsScience as a ServiceComputer VisionOperationalCloud Cost ReductionDevOps as a ServicePlatform EngineeringDeveloper Experience
Auto Scalingによる自動復旧（AWS Lambda+SNS編） - @ijin
先週のAWS Summit San Fransiscoにて、ついにLambdaがSNSに対応しました。 様々なサービスが発表された中、個人的にはこれが一番のヒットです！というのも、この機能によってAWS間のサービスがより連携しやすくなり、新しいリアクティブなアーキテクチャをどんどん実現できそうだからです。 というわけで、少し試してみました。 お題は去年12月に試したAutoScaling + Lambda。（当時はLambdaはまだこの機能がなかったのでSNS→SQSにてイベントをプロセスする仕組みを作りました。） SNS連携によって前回のこれが こうなります。（Lambdaのアイコンが出たので差し替えてます） うーん、シンプル！ 設定 前回とほぼ同様。 SNS作成
事例からAmazon Kinesisとは何なのかを学ぶ | DevelopersIO
はじめに 以前、Amazon Kinesisを使う案件があり技術調査の手伝いをしたことがありました。AWSのサイトには「大規模なストリーミングデータをリアルタイムで処理する完全マネージド型サービス」とありますが、その時は何のためのサービスなのか触ってもいまいちピンときませんでした。その後、分からなかった点を担当者にいろいろ聞いてみたのですが、案件が事例化されましたので教えてもらったことをブログに書いてみようと思います。株式会社あきんどスシロー様の案件です。以下が構成図になります。 「うまいすしを、腹一杯。うまいすしで、心も一杯。」 処理の流れ 事例の構成図からどのような処理が行われているかを担当者に確認しました。 回転寿司のすし皿に付いているICタグの情報を管理端末が読み取ります。 管理端末が読み取った情報はインターネットを経由してAmazon KinesisへPutされます。Putされる
Comparing Message Queue Architectures on AWS | FORTER
Notes: https://www.cloudamqp.com provides a hosted RabbitMQ service cluster and is not covered here. However, the Highly Available RabbitMQ cluster is included. CloudAMQP do not document what network partitioning mitigations they have configured for RabbitMQ cluster. https://redislabs.com provides a hosted Redis service and is not covered here. It uses custom replication and sharding proxies, but
AWS News Blog
Top Announcements of the AWS Summit in New York, 2023 It’s probably no surprise that generative artificial intelligence and machine learning were the stars of the show, but there were several other bright lights from the day-long cloud conference. New Seventh-Generation General Purpose Amazon EC2 Instances (M7i-Flex and M7i) Today we are launching Amazon Elastic Compute Cloud (Amazon EC2) M7i-Flex
Benchmarking SQS
SQS, Simple Message Queue, is a message-queue-as-a-service offering from Amazon Web Services. It supports only a handful of messaging operations, far from the complexity of e.g. AMQP, but thanks to the easy to understand interfaces, and the as-a-service nature, it is very useful in a number of situations. But how fast is SQS? How does it scale? Is it useful only for low-volume messaging, or can it
The Twitch Statistics Pipeline - My Musings
This is part one of a three part series covering all aspects of our data analysis. This part describes our pipeline. The second part will go into detail concerning particular design decisions. The third part covers this history of analytics at Twitch. If at any point you think to yourself you'd like to know more about what we do you should check out our team page.In the beginning we logged all of
[AWSマイスターシリーズ] Amazon SQS / SNS
1. re:G ene AWS マイスターシリーズ Amazon SQS / SNS rate アマゾン データサービス ジャパン株式会社 ソリューションアーキテクト ⼋八⽊木橋 徹平 篠原 英治 ⾈舟崎 健治 © 2012 Amazon.com, Inc. and its affiliates. All rights reserved. May not be copied, modified or distributed in whole or in part without the express consent of Amazon.com, Inc. 2. Agenda ! Amazon SQSとは • SQSの動作イメージ • SQSの機能の詳細 ! Amazon SNSとは • SNSの動作イメージ • SNS Mobile Push
![[AWSマイスターシリーズ] Amazon SQS / SNS](https://cdn-ak-scissors.b.st-hatena.com/image/square/9dccdc64723f76681739329042a56c39117c7cb5/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20140212aws-meister-regenerate-sqs-sns-140216193336-phpapp02-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
AWS News Blog
AWS Weekly Roundup – AWS AppSync, AWS CodePipeline, Events and More – August 21, 2023 In a few days, I will board a plane towards the south. My tour around Latin America starts. But I won’t be alone in this adventure, you can find some other News Blog authors, like Jeff or Seb, speaking at AWS Community Days and local events in Peru, Argentina, Chile, and Uruguay. If you see […] New – Amazon EC2 H
設定情報のpush型構成を組む場合の手段についてのメモ - すずけんメモ
管理画面から設定情報を保存しておいて、それをJSONで受け取ってfluentdのexec_filterで使うプログラム用に使っている箇所があります。管理画面のデータを保存するDBを、fluentdの入っているサーバ(以下、workerとします。)からは直接参照せず、管理画面のあるサーバからHTTPでJSON形式のデータをworkerで受け取るようにしています。workerでは定期的に設定情報のJSONを受け取るように設定しています。 しかし、定期的な設定情報の取得では更新からのタイムラグがあります。そこで、管理画面で設定情報が更新されたタイミングで準リアルタイムに設定情報を反映したいと考えました。 サーバに任意のカスタムイベントを送って、それを受け取ったら何かアクションを起こす的なことをしたいけど、Serfを使うまでもないし、かといって例えばfluentdをhttpで叩いてexecにつなげ
AWS News Blog
AWS Chatbot Now Integrates With Microsoft Teams I am pleased to announce that, starting today, you can use AWS Chatbot to troubleshoot and operate your AWS resources from Microsoft Teams. Communicating and collaborating on IT operation tasks through chat channels is known as ChatOps. It allows you to centralize the management of infrastructure and applications, as well as to automate and streamlin
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
20150207 サービス紹介編 Amazon Simple Queue Service (SQS)
https://qiita.com/inokappa/items/ef26f82efb1f0f14e22b
AWS Release Notes