AWSのストリーム処理向けメッセージングサービスKDS(Kinesis)・MSK(Kafka)・SQSの特徴 - Qiita
著者: 伊藤 雅博, 株式会社日立製作所 はじめに AWSでストリーム処理を実現する際は、データをキューイングするメッセージングサービスと、キューイングしたデータをストリーム処理するサービスを組み合わせることが一般的です。本投稿では、AWSが提供する各メッセージングサービスのうち、ストリームデータを扱う際によく活用されている下記サービスの特徴を紹介します。 Amazon Kinesis Data Streams (KDS) Amazon Managed Streaming for Apache Kafka (MSK) Amazon Simple Queue Service (SQS) なお、本投稿の内容は2020年中頃の調査結果をベースに、いくつか更新を加えたものです。AWSのサービス仕様は随時更新されるため、最新の仕様とは異なる場合があります。最新の情報はAWSの公式ドキュメントをご参照
SQSに大量のキューが入ったらコンシューマーをオートスケールしたい - Qiita
やりたいこと 不定期でSQSにキューが登録され、コンシューマーのEC2にはバッチ処理がSQSのキューを常にポーリングしており、バッチ処理はデキューに成功したら業務処理を行います。 普段、起動しているコンシューマーのEC2は1台だけなので、プロデューサーが一度に大量のエンキューを行なった場合は、キューの数に比例した時間がかかります。しかし、大量のキューであったも、コンシューマーは全てのキューの処理を終えなくてはなりません。 Auto Scaling グループを作成してコンシューマーのEC2の台数を適宜調整すればいいのですが、手動でAuto Scaling グループの「希望」台数を調整するのは事故の元なので大量のキューが登録されたら、自動でスケールアウトして、未処理のキューがなくなったらスケール・インさせます。 HOW TO 素直に公式ドキュメントに沿って設定します。 Amazon SQS に
SQSをイベントソースとするLambdaで同時実行数の制限によりSQSメッセージが処理されなかった場合でもSQSメッセージの受信数はカウントされる - Qiita
背景 やりたいこと 以下のようなアーキテクチャが実現できるか考えてみました。 SQSキューにメッセージが送信されたらLambdaを起動したい。 LambdaはDynamoDBにアクセスする。 DynamoDBのキャパシティユニットを一定に抑えるためにLambdaの同時実行数を制限したい。 同時実行数の制限によって処理されなかったSQSメッセージは元のSQSキューに戻し、Lambdaの同時実行数が減ったら改めて処理したい。 プログラムのエラーによりLambdaで処理できなかったSQSメッセージはデッドレターキューに転送したい。 関係するLambdaの機能 このアーキテクチャの実現にLambdaの以下の機能が利用できます。 Lambdaの関数レベルの同時実行数の管理 同時実行数の管理 - AWS Lambda LambdaのイベントソースとしてSQSを使う 先日、AWS LambdaでSQSを
[Rails] Shoryuken + FakeSQSで非同期処理 - Qiita
Railsで非同期処理っていったらDelayedJobとかResqueとかSidekiqとかいろいろありますが、 今回はShoryukenにチャレンジしてみます。 ShoryukenはAWS SQSからジョブ取り出すワーカーを簡単に作っちゃおうっていうGemなんですが、 今回は本物のSQSは貧乏なので使わずにFake SQSというSQS（っぽいもの）をローカルで立てることができるGemを使ってローカルのみで動くShoryuken Workerを書いちゃいましょう。 #登場人物 AWS SQS: すごく安くキューが使えるニクいやつ AWS-SDK: RubyからAWSを簡単に操作できるニクいやつ Fake SQS: SQSっぽいものをローカルに立てられるニクいやつ Shoryuken: SQSからジョブを取り出すニクいやつ #導入 あらかじめ適当なRailsプロジェクトを作っておきます。 い
![[Rails] Shoryuken + FakeSQSで非同期処理 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/c25e4d8e93c70b73a7cbe91c56be5447bf323acb/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGNzE5MzMlMkZwcm9maWxlLWltYWdlcyUyRjE0NzM2OTg5OTA_aXhsaWI9cmItNC4wLjAmYXI9MSUzQTEmZml0PWNyb3AmbWFzaz1lbGxpcHNlJmZtPXBuZzMyJnM9ODc2NzIzMTNmZmY4YzE0OWZkMzRjYzQ2MTBkYmU2YzU%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Dee49030bed31a7cf347f0da43dd99d0d%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCUmFpbHMlNUQlMjBTaG9yeXVrZW4lMjAlMkIlMjBGYWtlU1FTJUUzJTgxJUE3JUU5JTlEJTlFJUU1JTkwJThDJUU2JTlDJTlGJUU1JTg3JUE2JUU3JTkwJTg2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9NTAxYjliYTlmNDI2ZTcyYWE5NTI1Yzg1MDRiMTFhMGY%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBpZW1vbjdzdGFycyZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPTMwYmM5ZmI5MTZkZGQxM2UwZmI2OGQ0MzZlNTQxYWFi%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D704851537978ce6e098f41052c86563f)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ruby on railsでShoryukenを使うときにGod(神様)を使って監視をする - Qiita
https://qiita.com/inokappa/items/07e638ce00004f2eeb10
