クラウド メッセージング/キュー比較解説まとめ
最終更新 2020-05-12 本ページでは、Amazon・Microsoft・Google の提供するメッセージング・キューサービスの機能・料金等について比較します。具体的には下記サービスを対象とします。 Amazon Simple Queue Service (SQS)Amazon Simple Notification Service (SNS)Amazon MQAzure Queue StorageAzure Service BusGoogle Cloud Pub/SubGoogle Cloud Tasks (GAE Task Queue) ※Amazon Kinesis・Azure Event Hub・Azure Event Grid を含めていないですが、そのうち追加したいと思っています。 メッセージング・キューサービスの使い所 メッセージング・キューサービスは、使っていない人
AWS LambdaがSQSをイベントソースとしてサポートしました！ | DevelopersIO
大栗です。 先程AWS LambdaでSQSをイベントソースとしてサポートすることが発表されました。このエントリーではSQSからのLambdaの起動方法についてレポートします。 Announcement: AWS Lambda supports Amazon SQS as an event source Lambdaのイベントソース AWS Lambdaは以下のサービスのイベントを元に起動することができます。今回SQSのメッセージをトリガーとしてLambdaを起動することが可能になります。 API Gateway AWS IoT Alexa Skills Kit Alexa Smart Home CloudWatch Events CloudWatch Logs CodeCommit Cognito Sync Trigger DynamoDB Kinesis S3 SNS SQS <- N
"API Gateway → Lambda → SQS"でJSONデータをエンキューする | iret.media
下記でAPI GatewayとLambdaを連携させてみました。 "API Gateway"のバックエンドを"Lambda"にしてJSONデータをエコーさせる 今回はLambdaから更に別のAWSコンポーネントと連動させてみたいと思います。 (つまりLambdaのPythonのBotoの練習です) 具体的には下記のようにJSONデータをAPI GatewayにPOSTして、 バックエンドのLambdaが、そのJSONデータをSQSにエンキューさせてみます。 基本的には上記リンクのLambdaファンクションの部分を POSTされたJSONデータをSQSにエンキューするように修正した形となります。 Lambdaのコード 下記のように実装しました。(今回はロギングまわりも改善しています) import json import boto3 import logging logger = loggi
【新機能】Amazon SQSにFIFOが追加されました！（重複削除/単一実行/順序取得に対応） | DevelopersIO
SQSの大型アップデートです！ オンプレでエンタープライズな開発を行ったことがある方であれば、分散キューシステムの設計が大変だったと思います。実際のところは高額ライセンス商品を買うしか選択肢はなかったのではと。Amazon SQSの登場によって、今まで実装が大変だったノンコア機能のキューが、超安価に簡単に使えるようになったのは衝撃でした。これだけでクラウドを使う理由になりました。 そして、年月は流れ、この度SQSが進化しました！まずは、今までのSQSの課題についておさらいしたいと思います。 標準キュー 今までのSQSは、メディアエンコーディングや大量タスクの分散処理などに適していましたが、いくつかの用途においてフィットしなかったり、独自実装をする必要がありました。 順番が保証されない SQSは高可用性を持った分散キューシステムですので、1つのエンドポイントに投げられたメッセージは複製され蓄
AWSでジョブWorkerを構成するベストプラクティス 〜 Beanstalk worker tierの巻 | DevelopersIO
よく訓練されたアップル信者、都元です。先日、AWSでジョブWorkerを構成するベストプラクティス 〜 SQSの巻として、SQSを使ったスケーラブルなジョブWorkerアーキテクチャをご紹介しました。人間相手のHTTPリクエストの間に完了させるには長すぎるジョブを実行したい場合は、とりあえずSQSに投げて非同期に処理させよう、という仕組みです。 投げる側は、Javaであればこんな感じですね。キュー毎にURLがあるのでそれを指定して適当なメッセージ（本来はJSONなんかが良いんだと思います）を投げ込みます。 sqs.sendMessage(new SendMessageRequest(QUEUE_URL, "foobar")); Worker側としては、こんな感じでメッセージを受信しては処理して削除、というのを繰り返せばよいです。 while (true) { ReceiveMessageR
LambdaとSQSによる非同期分散処理 | DevelopersIO
はじめに AWS Lambdaで処理時間が掛かることが想定される場合、どのような対応策があるでしょうか？Lambdaを諦める？(これも１つの選択肢だと思います)、一回のデータ処理量を減らして処理時間を短くする、など色々な方法が考えつくと思います。 今回は１つの対応策として、処理時間が掛かる処理を複数に分割して別Lambda関数として動かす事を考えてみました。処理を分割してQueueに登録し、Queue毎に別Lambda関数を起動するサンプルを作成してみたので、それを中心に書きたいと思います。尚、実装言語はPythonとなります。 処理概要 今回の処理概要を図にすると以下のようになります。 Pythonにより実装したLambda関数、SQS、DynamoDBを組み合わせました。一番左の「main.py」がタスクをQueueに分割してSQSに登録します。定期的に動いている「consumer.p
プッシュ通知の基礎知識＆秒間1万を超えるプッシュ通知基盤のアーキテクチャと仕組みとは
インフラ：AWS 開発言語：Node.js v0.8系 フレームワーク：Express 3系 DB：Amazon DynamoDB 検索エンジン：Elasticsearch スケーラビリティの実現のためにAWS、配信スピードの向上のためにDynamoDBとNode.jsを最大限活用した作りとしています。また、実行環境の構築・管理についてはAWS Elastic Beanstalkを使用しています。各詳細は次回以降紹介していきますが、ここでは、機能概要を簡単に触れておきます。 図4【1】クライアントライブラリ 前述した通りプッシュ通知にはデバイストークンが必要になるため、APNs・GCMから取得してPusna-RSへ送信する機能が一律必要となります。そのため、アプリ起動時にこれらの処理を行うモジュールをライブラリ化して、各アプリに提供しています。 また、後述する条件を指定しての配信を行うため
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
