FIFOのAmazon SQSが2年越しで東京上陸！Exactly-Onceなキューが東京でも利用可能 ｜ DevelopersIO
この様に作成されます。 AWS CLIでメッセージを送ってみます。標準キューと異なり、メッセージグループ ID（message-group-id）とメッセージ重複排除 ID（message-deduplication-id）が必要です。 $ aws sqs send-message --queue-url https://sqs.ap-northeast-1.amazonaws.com/123456789012/blog.fifo \ > --region ap-northeast-1 --message-body Developers.IO \ > --message-group-id group1 --message-deduplication-id deduplication1 { "MD5OfMessageBody": "12345bec1c6be3e6d735971111cf9f
Autoscaling AWS Elastic Beanstalk worker tier based on SQS queue length
We are deploying a Rails application (for the Hydra-in-a-Box project) to AWS Elastic Beanstalk. Elastic Beanstalk offers us easy deployment, monitoring, and simple auto-scaling with a built-in dashboard and management interface. Our application uses several potentially long-running background jobs to characterize, checksum, and create derivates for uploaded content. Since we’re deploying this appl
Amazon's SQS performance and latency
It's been a while since we last looked at how fast Amazon SQS is. Did anything change? What kind of performance can you expect from simple AWS queue service (amazon sqs)? How SQS worksFirst, a quick refresher (or introduction, if you are not yet familiar with the service) on how SQS works. Amazon SQS is a message queueing service, meaning that it exposes an API to publish and consume messages. Unl
【AWS】SQSキューの前には難しいこと考えずにSNSトピックを挟むと良いよ、という話 | DevelopersIO
よく訓練されたアップル信者、都元です。SQSはみなさん使われていますでしょうか。複数のコンポーネント間の疎結合を保ち、バッチ処理等の冗長性・拡張性を確保するために必要不可欠なサービスです。 SQSの活用イメージにつきましては、AWSでジョブWorkerを構成するベストプラクティスのSQSの巻やBeanstalk worker tierの巻をご覧いただくと良いと思います。 さて。SQSを使うぞ、ということになった場合。メッセージを投げる側（＝プロデューサ）と、メッセージを受け取る側（＝コンシューマ）が必要です。どこかから持ってくる（実装済みの既成品を探してくる）か、もしくは自分自身で実装するわけです。 もちろん、プロデューサはSQSのインターフェイス（API）を理解し（依存し）ていなければなりません。要するに、キューにメッセージを投入する方法を知っており、それを使ってメッセージを投げるような
Amazon SQSを利用してS3からRedshiftにデータ投入するRinというツールを書いた - 酒日記 はてな支店
fluentdで集約したログをRedshiftに投入するのに、これまでは fluent-plugin-redshift を使っていたのですが、諸々の理由でこれを置き換えるツールをGoで書きました。 Rin - Redshift data Importer by SQS messaging. プロダクション環境に投入して、2週間ほど快調に動作しているので記事を書いておきます。 アーキテクチャと特徴 S3にデータが保存されたタイミングで、Amazon SNS または SQS にメッセージを飛ばすイベント通知機能がありますので、それを利用しています。 (何者か) S3 にデータを保存する (fluent-plugin-s3, その他どんな手段でも可) (S3) SQS に S3 の path 等が記述されたメッセージを通知する (Rin) SQS のメッセージを受信し、Redshift へ CO
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon S3 イベント通知 - Amazon Simple Storage Service
