Amazon SQS と Kinesis はどう違うのか？～ユーザが求めるキュー(queue)の姿～｜AWSを使い倒せ - GiXo Ltd.
Amazon SQS と Kinesis はどう違うのか？～ユーザが求めるキュー(queue)の姿～｜AWSを使い倒せ どちらも広義なキュー(queue)。でもキューに期待するものが違う。 こんにちは。技術チームの岩谷です。最近、とあるかたから「Kinesisというキーワードを聞くけど、SQSに似ていませんか？違いは何なのでしょう？」という質問をいただきました。 SQSとKinesis、この両者は共にAWSのクラウドサービスで「広義のキューサービス」という意味では共通点があります。すなわち、 データを投入する データを取り出す、またその際に順序性を制御する仕組みが備わっている 取出したデータは、即座もしくは短寿命で消去される データの「投入→取出」の動作がセットで利用される。 という利用方法は共通しています。これは「データの待ち行列」である「キュー」の概念と一致しています。しかしこの両者の
初めてのS3、SQSの連携設定 - はっさんブログ
ゴール S3でバケットを作成 SQSで任意のS3バケットを指定する S3側でイベントの登録 確認 ゴール S3にファイルアップロードしたら、イベント検知してSQSにenqueueされること この辺をするための布石です。 dev.classmethod.jp S3でバケットを作成 s3のコンソールに行きます。 バケットを作成ボタンから、適当な名前をつけて作成ボタンを押します。 作成されました。一旦ここまで！ SQSで任意のS3バケットを指定する SQSのコンソールに行きます。 キューを作成ボタンを押し、適当な名前をつけ、メッセージ受信待機時間を20秒に設定した後*1、作成ボタンを押します。 そしたら、作成したキューのチェックボックスをクリックしてください。 次に下のタブにあるアクセス許可から、許可の追加をします。 設定画面で以下の設定をして、条件の追加、保存をしてください。 プリンシバル..
【小ネタ】wrkを利用してSQSのキューに複数のメッセージを送信してみた | DevelopersIO
はじめに こんにちは、中山です。 SQSを利用したWorker構成はAWSのアーキテクチャとしてよく利用されていると思います。SQSのメッセージにジョブを登録しておき、それを監視するWorkerで非同期に処理をさせるという仕組みです。 とてもシンプルかつ安定性のある「枯れた」アーキテクチャです。が、みなさんはどうやってテストしているでしょうか。この場合の「テスト」とはメッセージが溜まった場合にWorkerが本当に処理を実施してくれるのか事前に検証したいという意味です。 一応AWS CLIには send-message-batch という1つのAPIで複数のメッセージを作成するサブコマンドが用意されています。ただ、あまり使い勝手よくないような…とはいえ、AWS SDKでスクリプト書くのも面倒です。 こういった要望に対して今回ご紹介するwrkを使うと解決できそうです。wrkとは「モダン」を謳う
【レポート】AWS Summit Tokyo 2017：Sansan がメッセージング (Amazon SQS) でスケーラビリティを手に入れた話: using C# on Windows #AWSSummit | DevelopersIO
スピーカー： 神原 淳史 Sansan株式会社 Sansan事業部 開発部 部長 セッション概要： Sansan では、ビジネスの成長に伴うサービス規模の拡大により、可用性やパフォーマンスに関する課題を抱えていました。本セッションでは、メッセージング (Amazon SQSを採用) の導入によってどのようにしてそれらの課題を解決したか、実例をベースにご紹介します。メッセージング自体は新しい技術ではありませんが、スケーラビリティの課題解決のために非常に有効な手段の 1 つです。全てのソフトウェアアーキテクト、開発者にお送りします。 セッションレポート Sansanのサービスについて 名刺のデータ化サービスはSansan社内の別組織が開発、運営している Sansanからデータ化サービス側にjpegを投げるとtxtが返ってくる 法人向けのサービスでは名刺データを一元化して組織内で共有できる。いわ
SQS、ElastiCache、Lambdaで作る高可用なアラート通知システム | GREE Engineering
インフラのいわほり（@egmc）です。 サーバ監視を構成するシステムは色々ありますが、今回はAWS環境上での監視に使われているアラート通知の仕組みについて紹介させて頂きます。 監視システムの構築そのものは2015年頃、AWSの本格的な利用に伴い、AWS環境を対象とした新規システム（AWSモニタリングシステム）の構築プロジェクトにて作成されたものですが、稼働から約2年が経過し、それなりに実績が積めてきたのではないかと思います。 通知システムにはYusuraという名前がついていて、機能的には過去のエントリで紹介されていたAWACSに近いものとなります。 主な機能としては 設定に基づいた通知先の振り分け アラートの集約(summarize) 同一アラートの抑制（suppress） インスタンスのタグ情報に基づいたignore処理（特定のタグがついているインスタンスを通知の対象とする） を行います
Amazon Simple Queue Service (SQS) で、キューのサーバー側の暗号化を導入
Amazon Simple Queue Service (SQS) を使用して、AWS Key Management Service (KMS) と統合されたサーバー側の暗号化 (SSE) により、アプリケーション間で機密データを交換できるようになりました。Amazon SQS は、規模を問わず、分散されたソフトウェアコンポーネントおよびマイクロサービス間で信頼性の高い通信を可能にする、フルマネージド型のメッセージキューサービスです。Amazon SQS を使用して、マネージド型メッセージサービスのスケール、コスト、および運用の利点を活用できます。サーバー側の暗号化の追加により、暗号化されたキューを使用して、機密データをより高いセキュリティで転送できます。 Amazon SQS のサーバー側の暗号化では、256 ビットの高度暗号化規格 (AES-256 GCM アルゴリズム) を使用して各
New – Amazon Simple Queue Service (SQS) でサーバー側の暗号化を導入 | Amazon Web Services
Amazon Web Services ブログ New – Amazon Simple Queue Service (SQS) でサーバー側の暗号化を導入 AWS シリーズの中でも尊敬に値するサービスの 1 つ、Amazon Simple Queue Service (SQS) は多くのアプリケーションにおいて欠かせない一部を担っています。「Amazon SQS でより優れたアーキテクチャを実現 (Amazon SQS for Better Architecture)」や「Amazon SQS と Amazon DynamoDB で大量のメッセージを処理する (Massive Message Processing with Amazon SQS and Amazon DynamoDB)」などのプレゼンテーションは、SQS をどのように使用すれば復元力とスケーラブルが高いアプリケーションを構
【AWS】SDKからSQSを操作する（送受信）【Python】【Node.js】 - Qiita
Lambda × SQS ってよく使う SQSってよく使うので送受信のサンプルを書いておきます。 自分の備忘録的な意味合いも大きい記事です。 前提 LambdaからSQSを操作できるロールがひっついていることを前提とします。 SQSキューは作成済でキューのURLは取得済みとします SQSからのメッセージ受信 Pythonを用いてSQSからメッセージを取得します 固有の設定値は./config.iniに記述しているものとします。詳しくはこちら # -*- coding: utf-8 -*- from __future__ import print_function import ConfigParser import boto3 import json # configファイルの読み込み ini = ConfigParser.SafeConfigParser() ini.read("./co
[SQS] サーバーサイド暗号化（SSE）を有効化/無効化し挙動を検証する | DevelopersIO
こんにちは。菊池です。 先のブログで紹介した通り、Amazon SQSでサーバーサイド暗号化（SSE）が可能になりました。 [新機能] SQSでサーバサイド暗号化（SSE）がサポートされました この暗号化を有効化・無効化した際の挙動について調べてみました。 はじめに サーバーサイド暗号化の挙動については公式ドキュメントに記載がありますが、その中で以下のような記述があります。 Encrypting a message makes its contents unavailable to unauthorized or anonymous users. This doesn't affect the normal functioning of Amazon SQS: A message is encrypted only if it is sent after the encryption of
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
