AWSのストリーム処理向けメッセージングサービスKDS(Kinesis)・MSK(Kafka)・SQSの特徴 - Qiita
著者: 伊藤 雅博, 株式会社日立製作所 はじめに AWSでストリーム処理を実現する際は、データをキューイングするメッセージングサービスと、キューイングしたデータをストリーム処理するサービスを組み合わせることが一般的です。本投稿では、AWSが提供する各メッセージングサービスのうち、ストリームデータを扱う際によく活用されている下記サービスの特徴を紹介します。 Amazon Kinesis Data Streams (KDS) Amazon Managed Streaming for Apache Kafka (MSK) Amazon Simple Queue Service (SQS) なお、本投稿の内容は2020年中頃の調査結果をベースに、いくつか更新を加えたものです。AWSのサービス仕様は随時更新されるため、最新の仕様とは異なる場合があります。最新の情報はAWSの公式ドキュメントをご参照
AWS Glueの「AmazonS3イベント通知を使用した加速クロール」とは何か | NHN テコラス Tech Blog | AWS、機械学習、IoTなどの技術ブログ
Amazon S3 イベント通知を使用した加速クロールを業務で利用する機会がありました。そこで得られた知見などをここで共有したいと思います。 AWS Glueとは何か、AWS Glue Crawlerとは何かという基本的な情報は省きますので、こちらを知りたい場合は以下の資料などでの参照をお願いします。 AWS BlackBelt Glue 簡単にまとめると「GlueCrawlerがS3イベントとSQSを使うことで、通常よりも読み込むデータ量が少なくなり、結果的にコスト削減や処理速度が上がる仕組み」となります。 通常のクローラーの場合は以下のように、クローラーに設定されたS3のパスをクローリングして、その結果をDataCatalogに保存します。 加速クロールでは以下の図のように、通常のクローラーの構成に加えてS3のイベント通知機能とSQSを利用します。 あらかじめS3のイベント通知機能にS
Apache Camel による IBM MQ と Amazon SQS、Amazon SNS との統合 | Amazon Web Services
Amazon Web Services ブログ Apache Camel による IBM MQ と Amazon SQS、Amazon SNS との統合 IBM MQは、世界の銀行、航空会社、医療機関、保険会社など、多くの企業組織で使用されているメッセージ指向ミドルウェア (MOM) 製品です。 AWS では、既存のオンプレミスにある MOM システムをクラウドで実行されている新しいアプリケーションと統合できる方法についてお客様からよくお問い合わせいただきます。お客様は、クラウドアプリケーションからこれらのメッセージングシステムにメッセージを送受信できる、費用対効果が高く、スケーラブルで手間のかからないソリューションを探しています。 このブログ記事では、オンプレミスの IBM MQ から Amazon MQ、Amazon Simple Queue Service (Amazon SQS)、
Amazon SQS と Kinesis はどう違うのか？～ユーザが求めるキュー(queue)の姿～｜AWSを使い倒せ - GiXo Ltd.
Amazon SQS と Kinesis はどう違うのか？～ユーザが求めるキュー(queue)の姿～｜AWSを使い倒せ どちらも広義なキュー(queue)。でもキューに期待するものが違う。 こんにちは。技術チームの岩谷です。最近、とあるかたから「Kinesisというキーワードを聞くけど、SQSに似ていませんか？違いは何なのでしょう？」という質問をいただきました。 SQSとKinesis、この両者は共にAWSのクラウドサービスで「広義のキューサービス」という意味では共通点があります。すなわち、 データを投入する データを取り出す、またその際に順序性を制御する仕組みが備わっている 取出したデータは、即座もしくは短寿命で消去される データの「投入→取出」の動作がセットで利用される。 という利用方法は共通しています。これは「データの待ち行列」である「キュー」の概念と一致しています。しかしこの両者の
AWS Black Belt Tech シリーズ 2016 - Amazon SQS / Amazon SNS
The document provides information about an AWS webinar on AWS Systems Manager presented by Solutions Architect Kayoko Ishibashi. It includes an agenda for the webinar covering an overview of AWS Systems Manager, demonstrations of key features like resource groups, inventory, automation, and security best practices. The webinar aims to help participants understand the overall capabilities of AWS Sy
SQSに大量のキューが入ったらコンシューマーをオートスケールしたい - Qiita
やりたいこと 不定期でSQSにキューが登録され、コンシューマーのEC2にはバッチ処理がSQSのキューを常にポーリングしており、バッチ処理はデキューに成功したら業務処理を行います。 普段、起動しているコンシューマーのEC2は1台だけなので、プロデューサーが一度に大量のエンキューを行なった場合は、キューの数に比例した時間がかかります。しかし、大量のキューであったも、コンシューマーは全てのキューの処理を終えなくてはなりません。 Auto Scaling グループを作成してコンシューマーのEC2の台数を適宜調整すればいいのですが、手動でAuto Scaling グループの「希望」台数を調整するのは事故の元なので大量のキューが登録されたら、自動でスケールアウトして、未処理のキューがなくなったらスケール・インさせます。 HOW TO 素直に公式ドキュメントに沿って設定します。 Amazon SQS に
Amazon SQSとCloudWatchによる高速AutoScaling | DevelopersIO
キューの長さと連動する Amazon SQSはキューのサービスです。メッセージを送る側と受ける側を疎結合にできるため、たまにスケールするアプリケーションにおいては非常に重要な役割を果たします。今回は、急激にメッセージが増えた時にできるだけ早くチェックして高速にスケールする方法についてご紹介します。 5分から1分へ Amazon SQSでは、規定値として5分に1回Amazon CloudWatchに監視用のデータを送っています。このデータの種類には、キューの長さも含まれていて、標準の状態では最大5分前の状態確認を1分毎に行うことになり、急激なキューへのメッセージ追加に対して、即座に反応ができません。そこで、カスタムメトリクスを使って1分以下のタイミングで監視データを送ることで、今までよりも早くアクションをすることができるようになります。 カスタムメトリクスの登録 SQSのキューの長さを確認す
Amazon に基づくスケーリングポリシー SQS - Amazon EC2 Auto Scaling
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Amazon に基づくスケーリングポリシー SQS 以下の情報とステップは、カスタムメトリクスとして発行する前に、SQSキュー属性を使用してインスタンスごとに Amazon ApproximateNumberOfMessagesキューバックログを計算する方法を示しています CloudWatch。ただし、Metric Math を使用することで、独自のメトリクスを公開するコストと労力を節約できるようになりました。詳細については、「Metric Math を使用してターゲット追跡スケーリングポリシーを作成する」を参照してください。 このセクションでは、Amazon Simple Queue Service (Amazon SQS) キューのシステム負荷の変化に応じて A
よくある質問 - AWS Step Functions | AWS
AWS Step Functions はフルマネージドサービス型のサービスで、視覚的ワークフローを使用して分散アプリケーションやマイクロサービスのコンポーネントをより容易にコーディネートできます。それぞれ別個の機能を実行する個々のコンポーネントからアプリケーションを構築することで、より簡単にアプリケーションをスケーリング、およびより迅速に変更できるようになります。 Step Functions を使えば、安心してアプリケーションのコンポーネントを調整し、機能を配置できます。グラフィカルコンソールを使用して、アプリケーションのコンポーネントを一連のステップとして配置し、可視化できます。これにより、複数のステップからなるアプリケーションをより簡単に構築および実行できるようになります。 Step Functions では、各ステップが自動的にトリガーおよび追跡され、エラーが発生した場合は再試行さ
Amazon SQS の標準キュー - Amazon Simple Queue Service
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Amazon SQS の標準キュー Amazon SQS は、デフォルトのキュータイプとして標準キューを提供し、SendMessage、ReceiveMessage、DeleteMessage などのアクションに対して 1 秒あたりほぼ無制限の数の API コールをサポートしています。標準キューでは、少なくとも 1 回のメッセージ配信が保証されますが、分散性の高いアーキテクチャにより、メッセージの複数のコピーが配信されたり、メッセージが順不同で着信したりすることがあります。それにもかかわらず、標準キューは、メッセージが送信された順序を維持しようと最善を尽くします。 SendMessage を使用してメッセージを送信すると、Amazon SQS はメッセージを確認する
AWS Lambdaの裏側をなるだけ詳しく解説してみる - Sweet Escape
AWS Lambdaの環境がどのようになっているか、ユーザが用意したLambdaファンクションがどんな感じで実行されるかってあたりを可能な限り詳しく説明したいと思います。 はじめに 大前提 コールドスタート/ウォームスタート コントロールプレーン/データプレーン アイソレーション AWS Lambdaのコンポーネント群 同期実行かつ初回呼び出し（コールドスタート）、もしくはスケーリング 同期実行かつ再利用（ウォームスタート） 非同期実行 スケールアップ エラーハンドリング リトライ その他 ネットワーク まとめ はじめに この投稿は2020年9月29日の21時から開催予定のイベント（ライブストリーミング）で話す内容です。 serverless-newworld.connpass.com もし間に合えば、かつ時間があればぜひライブ配信のほうにも参加ください。 （2020.09.30 upda
AWS クラウド開発キット (CDK) – TypeScript と Python 用がご利用可能に | Amazon Web Services
Amazon Web Services ブログ AWS クラウド開発キット (CDK) – TypeScript と Python 用がご利用可能に Infrastructure as Code を管理することで享受できるメリットは数多くあります。そのため、DevOps のプラクティスをうまく適用するきっかけとなることがよくあります。Infrastructure as Code によって、手動での実行手順に頼る代わりに、管理者と開発者の両方が構成ファイルを使用し、アプリケーションに必要なコンピューティング、ストレージ、ネットワーク、アプリケーションサービスのプロビジョニングを自動化できるようになります。 たとえば、Infrastructure as Code を定義すると、次のことが可能です。 インフラストラクチャとアプリケーションコードを同じリポジトリに保管する さまざまな環境、AWS
KinesisとSQSの比較検討のため、Amazon Kinesis Data Streams のチュートリアルをやってみた | DevelopersIO
モバイルアプリサービス部の五十嵐です。 KinesisとSQSの比較検討のため、Kinesisをより知るために公式のチュートリアルをさわってみました。 前提知識として 前提知識として、ストリームとシャード、プロデューサーとコンシューマーなどの用語の意味を抑えておくといいと思います。AWS Black Belt Online Seminarのスライドがわかりやすかったので紹介しておきます。 AWS Black Belt Online Seminar 2017 Amazon Kinesis チュートリアル チュートリアル: Amazon Kinesis Data Streams を使用したウェブトラフィックの可視化 - Amazon Kinesis Data Streams 概要 このサンプルアプリケーションは、さまざまな URL からのシミュレート上の閲覧者の数を Kinesis data
AWS Lambda がサポートするイベントソースに Amazon Simple Queue Service を追加 | Amazon Web Services
Amazon Web Services ブログ AWS Lambda がサポートするイベントソースに Amazon Simple Queue Service を追加 Amazon Simple Queue Service (SQS) を使って AWS Lambda 関数をトリガーできるようになりました。これは私が個人的に 4 年以上前から楽しみにしてきた、重要な機能を提供する特別なアップデートです。皆さん、試用を待ち望んでいることでしょうから、昔話に興味のない方は下記を飛ばしてもらって結構です。 SQS は当社が立ち上げた初めてのサービスで、14 年前の 2004 年、AWS より公開されました。ご参考に、2004 年当時と言えば、商用ハードドライブは最大でも約 60 GB、PHP 5 が現れ、Facebook がちょうど開始したところ、テレビ番組のフレンズはシリーズが終了、Gmail は
Autoscaling AWS Elastic Beanstalk worker tier based on SQS queue length
We are deploying a Rails application (for the Hydra-in-a-Box project) to AWS Elastic Beanstalk. Elastic Beanstalk offers us easy deployment, monitoring, and simple auto-scaling with a built-in dashboard and management interface. Our application uses several potentially long-running background jobs to characterize, checksum, and create derivates for uploaded content. Since we’re deploying this appl
Amazon Simple Queue Service - Wikipedia
Amazon Simple Queue Service (Amazon SQS) は、2004年後半にAmazon.comによって導入された分散型メッセージキューイングサービス[1]で、Amazon Web Servicesで提供された初のサービスでもある。インターネットを介して通信する手段として、Webサービスアプリケーションを介したプログラムによるメッセージの送信をサポートしている。 SQSは、共通の生産者-消費者問題または生産者と消費者間の接続に起因する問題を解決する高度にスケーラブルなホストメッセージキューを提供することを目的としている。 Amazon SQSは、メッセージングサービスの商品化として表現できる。 よく知られているメッセージング・サービス技術の例には、IBM WebSphere MQとMicrosoft Message Queuingがある。これらのテクノロジーとは異
SQSをイベントソースとするLambdaで同時実行数の制限によりSQSメッセージが処理されなかった場合でもSQSメッセージの受信数はカウントされる - Qiita
背景 やりたいこと 以下のようなアーキテクチャが実現できるか考えてみました。 SQSキューにメッセージが送信されたらLambdaを起動したい。 LambdaはDynamoDBにアクセスする。 DynamoDBのキャパシティユニットを一定に抑えるためにLambdaの同時実行数を制限したい。 同時実行数の制限によって処理されなかったSQSメッセージは元のSQSキューに戻し、Lambdaの同時実行数が減ったら改めて処理したい。 プログラムのエラーによりLambdaで処理できなかったSQSメッセージはデッドレターキューに転送したい。 関係するLambdaの機能 このアーキテクチャの実現にLambdaの以下の機能が利用できます。 Lambdaの関数レベルの同時実行数の管理 同時実行数の管理 - AWS Lambda LambdaのイベントソースとしてSQSを使う 先日、AWS LambdaでSQSを
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DeleteMessage - Amazon Simple Queue Service
Amazon SQS のベストプラクティス - Amazon Simple Queue Service
Best Practices