SDKの1系と2系で全然使い方が違うかつ、2系の日本語の情報があまりWebになかったので、備忘録として残しておきます。 SDKをPEARでインストールする $sudo pear channel-discover pear.amazonwebservices.com $sudo pear -D auto_discover=1 install aws/sdk APIを使っていろいろやってみる <?php require 'AWSSDKforPHP/aws.phar'; use Aws\Sqs\SqsClient as SqsClient; // 0.前準備 $config = array ( 'key' => 'your access key', 'secret' => 'your secret key', 'region' => 'ap-northeast-1' ); $client = S
前にまとめたんですけど、やっぱややこしかったのでもうちょっとまとめます 勉強前イメージ SQS ... バッチのキューとか処理で後続の処理を実施できるイメージ SNS ... notificationだから通知が主なイメージ 調査 SQSとは 詳細は こちら SQSは Simple Queue Service の略 キューイングサービス キューは ソフトウェア間を直接データを渡すのではなく、第三者経由でデータを渡すことで、送信側と受信側が好きなときに処理を行う データの取得方法は、 他のサービスがSQSをポーリングして、キューがあれば取得 します SNSとは 詳細は こちら SNSは Simple Notification Service メッセージングサービス プッシュしたメッセージをHTTP,HTTPS,メール,SQS,モバイルプッシュなどに通知出来る データの取得方法は、 SNSがメ
みなさんさようなら． Railsの非同期処理って何使ってますか？ Sidekiq？Resque？，え？DelayedJob？ 個人的にはSidekiqが結構好きで，よく使っていたのですが，最近Redisのメモリが足らなくなってきて…… たまにエンキューに失敗します． もちろんインスタンスタイプを上げればいいんですが，それなりの値段するじゃないですか． Shoryukenを使ってみる Shoryukenというのがあってですね，だいたいSidekiqと同じ要領で使える非同期処理用のgemなんですが，バックエンドがAWS SQSなんですよ． だから，これRedisの運用とか真面目に考えなくてもいけるんじゃね？とりあえず全部メッセージに突っ込んでも，重くならないし！ そんなこんなでShoryukenを使ってみました． というか，既に運用しているasumibotに入れて，運用してます． github
AWS Solutions Architect ブログ
AWS Black Belt Tech Webinar 「Amazon SNS / SQS」「Amazon CloudFront」資料公開 こんにちは。ソリューションアーキテクト小川です。 先日1/20(水)と1/27(水)に開催した、AWS Black Belt Tech Webinar 「Amazon SNS / SQS」ならびに「Amazon CloudFront」の資料が公開されました。 ・1/20(水) 開催： Amazon SNS / SQS SA市崎より、AWSの数あるサービスの中でも長い歴史を持つ メッセージキューサービス「Amazon SQS」と、プッシュ方式のメッセージ送信サービス「Amazon SNS」について解説して貰いました。それぞれ使い方についての解りやすい説明から、他のサービスとの連携、最近アップデートされた新機能についても解説しております。 Amazon S
UnsplashのKristina Tripkovicが撮影した写真おはこんばんちは。 Finatextグループのクレジット事業でソフトウェアエンジニアをしている Hanake です。 ところで、皆様はローカルでのメール送信をどのようにテストされていますか？ SMTP サーバを立ててテストしていますか？もしくは開発環境用にマネージドなメール送信サービスを利用していますか？ いずれにせよ、本番との環境の差異やコスト面での課題があるかと思います。 今回は、LocalStack と aws-ses-v2-local を使って可能な限り本番に近い環境で非同期のメール送信をローカルで再現する方法をご紹介します。 LocalStack とはLocalStack は、Amazon Web Services(以下 AWS) のクラウドサービスをローカルでエミュレートするためのツールです。 AWS の主要サ
イラストで理解するSQSの概要 - Qiita
はじめに 概要 前回のイラストで理解するが好評だったので、今回もイラストを使ってSQSの学習記録を記事にします。(本当は絵にして覚えたものにちょっと文字を足しただけ) この記事で得られること SQSがメッセージを配信する仕組みをイラストを交えながら理解できます。 概要を理解できれば公式ドキュメントも読みやすくなるはずです。 用語 まずはSQSに出てくる用語を見てみましょう。 メッセージ SQSが受け取るデータのこと 今回はニュース原稿 キュー メッセージをためておく場所 今回は原稿を入れる箱 コンシューマ メッセージを処理するもの（Lambdaとか） 今回は原稿を読むキャスター プロデューサ メッセージを配信するもの（EC2上のアプリケーション, IoTデバイスなど) 今回は原稿を作るライター 今回は原稿作成からキャスターが原稿を読むまでの流れに例えながら勉強していきたいと思います。 全体
memorycraftです。 いまさらですが、SQS＋supervisordです。 supervisorはプログラムの起動監視と、自動起動/復帰などを行ってくれるツールです。 これをつかってSQSの受信処理プログラムをワーカーとして管理してみます。 ■受信テスト用のスクリプトを作成 メッセージの受信は、一度に最大の10件まで、ポーリング20秒で受信したメッセージをログファイルに出力するようにします。 また、今回はログの出力タイミングがわかりやすいように、1回のポーリング後10秒間sleepしています。 $ vim /home/ec2-user/svsqs.rb #!/usr/local/bin/ruby require 'aws-sdk' require 'logger' access_key = 'XXXXXXXXXXXXXXXX' secret_key = 'YYYYYYYYYYYYY
#Rails の ActiveJob + shoryuken gem で #AWS SQS キューイング非同期処理を試してみる - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
Lessons learned from combining SQS and Lambda in a data project
Work Some of the wins we’ve made with our clients. Services How we combine strategy, design and technology. Industries Our chosen specialty areas. Insights Fresh perspectives from our experts. About Who we are and what makes us tick. Join us Why we like it here and why you might come aboard. In June 2018, AWS Lambda added Amazon Simple Queue Service (SQS) to supported event sources, removing a lot
New – Amazon Simple Queue Service (SQS) でサーバー側の暗号化を導入 | Amazon Web Services
Amazon Web Services ブログ New – Amazon Simple Queue Service (SQS) でサーバー側の暗号化を導入 AWS シリーズの中でも尊敬に値するサービスの 1 つ、Amazon Simple Queue Service (SQS) は多くのアプリケーションにおいて欠かせない一部を担っています。「Amazon SQS でより優れたアーキテクチャを実現 (Amazon SQS for Better Architecture)」や「Amazon SQS と Amazon DynamoDB で大量のメッセージを処理する (Massive Message Processing with Amazon SQS and Amazon DynamoDB)」などのプレゼンテーションは、SQS をどのように使用すれば復元力とスケーラブルが高いアプリケーションを構
SimpleDBの回は途中で一休みして、SQSでも遊んでみました。 Amazon SQS(Simple Queue Service)は、AWSが提供するメッセージキューシステムです。 メッセージキューは、送信側と受信側が別のプロセスで非同期にメッセージのやりとりを行い、送信と受信の間でお互いの処理待ちをなくすことのできる仕組みをもっています。 これはたとえばWEBアプリケーションなどで、画像生成などの重い処理をするときに処理のタスクだけを指示して、レスポンスをすぐ返すことによりクライアントに処理待機をさせないようにするときなどに有用です。 SQSではメッセージの送信、受信側での処理は以下のような流れになります。 使い方はとてもシンプルで、送信側でメッセージを送り、受信側でメッセージの受信を待機するだけです。 送信側 指定したキュー名のキューオブジェクトを作る メッセージを送る 受信側 指定
1. Ⓒ Classmethod, Inc. 体で覚えるSQS！ 〜～ AWSとIntel Edisonの刺刺激的な関係♡ 〜～ 1 DEVIO-‐‑‒MTUP11-‐‑‒TOKYO-‐‑‒007 都元ダイスケ 2014年年12⽉月16⽇日 2. Ⓒ Classmethod, Inc. •都元ダイスケ •AWSコンサルティング部 •Javaアプリ屋出身 •AWS歴 約3.5年 •AWSの主に緑色担当 •ハードウェア担当 New! •@daisuke_m 2 どうも、よく訓練されたアップル信者、都元です。
This document describes the current stable version of Celery (5.0). For development docs, go here. Installation¶ For the Amazon SQS support you have to install additional dependencies. You can install both Celery and these dependencies in one go using the celery[sqs] bundle:
Amazon CloudWatch Events enables you to respond quickly to application availability issues or configuration changes that might impact performance or security by notifying you of AWS resource changes in near-real-time. You simply write rules to indicate which events are of interest to your application and what automated action to take when a rule matches an event. You can, for example, invoke AWS L
【図解】コレ１枚でわかるオーケストレーションとコレオグラフィ：ITソリューション塾：オルタナティブ・ブログ
ある業務で一連のサービス（特定の業務を処理するプログラム）を連結させて全体の処理を行う方式に、オーケストレーション（Orchestration）とコレオグラフィ（Choreography）があります。 前者は、指揮者の指示に従って各演奏者が担当する楽器を演奏するように、全体の処理の流れを制御する指揮者にあたるプログラムが存在し、そこからのリクエストによってサービスを実行し、実行結果をレスポンスとして指揮者に返して次の処理に引き継ぐ方式です。これを「リクエスト・リプライ方式」と呼んでいます。 各サービスは、そのサービスを制御する指揮者が受けもっている特定の処理のためだけに利用され、他の指揮者が制御する別の処理を引き受けて実行することはありません。そのため処理が増えれば、指揮者のプログラムもその数必要となり、同時に多くのサービスが駆動されます。 一方、後者は、演劇や踊りで演技者に予め振り付けが
森薫の日記
APNSのための証明書の作成 - 森薫の日記でPKCS12証明書からAPNSで利用するクライアント証明書を作成する手順をメモしていましたが、以下のコマンドで一発で作成できることがわかりました。 $ openssl pkcs12 -clcerts -nodes -in cert.p12 -out client.pem 今回、Rubyからopensslコマンドを利用してクライアント証明書を作成しているので、以下のようにしてopensslコマンド実行して、クライアント証明書を作成することができました。 system("#{openssl_path}openssl pkcs12 -in #{dir}/#{login}.p12 -out #{dir}/#{login}.cer -clcerts -nokeys -passin pass:#{p12_password}") もうすぐPasscalでも、
RubyでAWSのSQSを使う - Qiita
Amazon SQS(Amazon Simple Queue Service)はAmazonが提供するキューサービスです。 Amazon Simple Queue Service（SQS）は、高速で、信頼性が高く、スケーラビリティに優れ、十分に管理されたキューサービスです。SQS を利用すると、簡単かつコスト効率良く、クラウドアプリケーションのコンポーネントを切り離すことができます。SQS を使用すれば、どんなボリュームのデータでもあらゆるレベルのスループットで転送できます。転送時にメッセージが失われることも、他のサービスが常に利用可能である必要もありません。 (公式HP) 今回はAサーバで受け取ったデータを非同期にBサーバで処理するといった要件が発生したので簡単な使い方を書いておきます。 他にも一気にきたリクエストをとりあえずSQSに登録しておいて、あとからゆっくり処理させるといった使い
Fanout Amazon SNS notifications to Amazon SQS queues for asynchronous processing - Amazon Simple Notification Service
Fanout Amazon SNS notifications to Amazon SQS queues for asynchronous processing Amazon SNS works closely with Amazon Simple Queue Service (Amazon SQS). These services provide different benefits for developers. Amazon SNS allows applications to send time-critical messages to multiple subscribers through a “push” mechanism, eliminating the need to periodically check or “poll” for updates. Amazon SQ
【これで理解できる】SQSのデッドレターキューを理解したかったのでSQS+Lambdaのリトライ処理を実装してみた - Qiita
本記事は以下ブログの内容を転記したものです。 以下ブログの方が見やすいと思います。気になる方はどうぞです。 はじめに 最近、仕事でSQSを使う機会があったのですが、デッドレターキューやSQSによるリトライ処理がイマイチ理解できていませんでした。 AWSの公式ドキュメントやブログ記事などを見てもあまり理解できなかったため、実際にサンプルアプリを作って検証しました。 実施内容(概要) 実施内容は以下です。 LambdaにSQSでメッセージを送信する Lambdaはエラーとなるような処理とする 複数リトライ後、SQSのメッセージがデッドレターキューに入ることを確認する デッドレターキューに入ったメッセージを使って再処理できることを確認する 実施内容(詳細 - 設定) IAM 一般的なユースケースからLambdaを選択し、次のステップ：アクセス権限を押します。 ポリシーとしてAmazonSQSFu
orenomac$ aws dynamodb create-table --table-name test --attribute-definitions AttributeName=DataA,AttributeType=S AttributeName=DataB,AttributeType=S --key-schema AttributeName=DataA,KeyType=HASH AttributeName=DataB,KeyType=RANGE --provisioned-throughput ReadCapacityUnits=1,WriteCapacityUnits=1 { "TableDescription": { "AttributeDefinitions": [ { "AttributeName": "DataA", "AttributeType": "S" }, {
SQSの標準キューとFIFOキューの違いを検証してみた
SQSには「標準キュー」と「FIFOキュー」という２つのタイプが存在します。 それぞれのタイプについて動作の違いを検証してみました。 標準キューとFIFOキューの特徴 まず、標準キューとFIFOキューの違いとしてそれぞれ以下の特徴があります。
If you want to send data to a target other than a Lambda function or enrich the data before sending it, see Amazon EventBridge Pipes. You can use a Lambda function to process messages in an Amazon Simple Queue Service (Amazon SQS) queue. Lambda supports both standard queues and first-in, first-out (FIFO) queues for event source mappings. Understanding polling and batching behavior for Amazon SQS e
SQSのキューのサイズがCloudWatchで見れますように。(カスタムメトリクスじゃなくて) #AWS77 #jawsugless than a minute ago via Tweet-Watch Favorite Retweet Replysuz-lab suz_lab AWS Management ConsoleのCloudWatchタブを見ると、 左のメニューの下部にSQSの項目があることが確認できます。 クリックすると、下記のメトリクスが取得できていることがわかります。 NumberOfMessagesSent SentMessageSize NumberOfMessagesReceived NumberOfEmptyReceives NumberOfMessagesDeleted ApproximateNumberOfMessagesVisible ApproximateNu
Heads Up: This post is quite old. Friends don't let friends make business decisions based on four-year-old blog posts. We've been using Amazon SQS where I work for awhile. We have a fairly heavy (though, that's relative: we're a small company) cloud application that makes use of a bunch of the Amazon services (SimpleDB, S3, EC2) and, when we needed a message queue, SQS was just there for us. It wa
[新機能] CloudWatch EventsがAmazon SQSのQueueをターゲット指定できるようになりました | DevelopersIO
はじめに 今回ご紹介する新機能はこちら！ CloudWatch Events now Supports Amazon SQS Queue Targets CloudWatch Eventsは、これまではAWS Lambda、Amazon Kinesis Stream、Amazon SNS、Bullet-inをターゲットとして指定することが出来ました。今回の新機能によって、ターゲットにSQS Queueを指定できるようになりました！ ってことでとりあえずやってみました。 やってみた SQS Queueを作っておきます。今回は[job]という名前にしました。 AWS管理コンソールのCloudWatch画面で、[Events]をクリックし、[Create Rule]ボタンをクリックします。 [Event Selector]は[Schedule]とし、5分ごとにしました。[Targets]は今回の
![[新機能] CloudWatch EventsがAmazon SQSのQueueをターゲット指定できるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/733218a332110bfecfa7af8c0ec6179c3fa14b03/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FCloudWatch.png)
SNS、SQS、EventBridgeの違いについて調べてみる
着想の元 この記事を見ているときに「イベント駆動アーキテクチャ」といえば、EventBridgeはどうなんだっけ?と思った
Software DevelopmentDiscovery WorkshopsPerformant BackendsData-Intensive FrontendsLegacy Systems MigrationLeadershipTechnology PartnerFractional CTO/ArchitectArchitectureSoftware Audit & ConsultingCybersecurity ServicesAI and MLMLOpsBespoke AI ChatbotsScience as a ServiceComputer VisionOperationalCloud Cost ReductionDevOps as a ServicePlatform EngineeringDeveloper ExperienceObservability Services
AWSでストリームデータを扱うためのメッセージングサービス一覧（KDS, MSK, SQS, SNS, MQ） - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 著者: 伊藤 雅博, 株式会社日立製作所 はじめに AWSでストリーム処理を実現する際は、データをキューイングするメッセージングサービスと、キューイングしたデータをストリーム処理するサービスを組み合わせることが一般的です。本投稿では、AWSが提供する各メッセージングサービスの概要と、ストリームデータを扱う際の選択基準を紹介します。 なお、本投稿の内容は2020年中頃の調査結果をベースに、いくつか更新を加えたものです。AWSのサービス仕様は随時更新されるため、最新の仕様とは異なる場合があります。最新の情報はAWSの公式ドキュメントをご参照
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS SDK for PHP 2でAmazonSQSをいじってみた - へろへろもへじ
AWSのSQSとSNSの違い - Qiita
Shoryuken，それと例外検知gemを作った話 - PartyIX
LocalStackとaws-ses-v2-localを使って非同期のメール送信をローカルで再現する
SQSってなんじゃ？（supervisordでSQS） | iret.media
Amazon SQSってなんじゃ？（その１ Scratchpad編）
体で覚えるSQS！ DEVIO-MTUP11-TOKYO-007
Using Amazon SQS — Celery 5.0.0 documentation
CloudWatch Events now Supports Amazon SQS Queue Targets
読まずに食べるSQSとDynamoDB 作成編 | iret.media
Using Lambda with Amazon SQS - AWS Lambda
cloudpackブログ - CloudWatchでSQSのメトリクスが取得可能に
Amazon SQS vs. RabbitMQ
Amazon's SQS performance and latency
Amazon Simple Queue Service