AWSのストリーム処理向けメッセージングサービスKDS(Kinesis)・MSK(Kafka)・SQSの特徴 - Qiita
著者: 伊藤 雅博, 株式会社日立製作所 はじめに AWSでストリーム処理を実現する際は、データをキューイングするメッセージングサービスと、キューイングしたデータをストリーム処理するサービスを組み合わせることが一般的です。本投稿では、AWSが提供する各メッセージングサービスのうち、ストリームデータを扱う際によく活用されている下記サービスの特徴を紹介します。 Amazon Kinesis Data Streams (KDS) Amazon Managed Streaming for Apache Kafka (MSK) Amazon Simple Queue Service (SQS) なお、本投稿の内容は2020年中頃の調査結果をベースに、いくつか更新を加えたものです。AWSのサービス仕様は随時更新されるため、最新の仕様とは異なる場合があります。最新の情報はAWSの公式ドキュメントをご参照
AWS Announces New Serverless Options for Three Analytics Services
AWS Announces New Serverless Options for Three Analytics Services New serverless options for Amazon Redshift, Amazon MSK, and Amazon EMR help customers analyze data at scale without having to configure, scale, or manage the underlying infrastructure Roche, Riot Games, and Intuit among customers using new serverless analytics options LAS VEGAS--(BUSINESS WIRE)--Nov. 30, 2021-- Today, at AWS re:Inve
AWS での Apache Kafka の実行のためのベストプラクティス | Amazon Web Services
Amazon Web Services ブログ AWS での Apache Kafka の実行のためのベストプラクティス この記事は Intuit とのパートナーシップに基づいて書かれ、AWS で Apache Kafka クラスタを実行するための学習、ベストプラクティス、推奨事項を共有するものです。Intuit の Vaishak Suresh と同氏の同僚の方々の貢献とサポートに感謝いたします。 Intuit の概要: Intuitは、AWS のエンタープライズ顧客のリーダーであり、ビジネスと財務管理ソリューションのクリエーターです。Intuit の AWS とのパートナーシップに関する詳細については、以前のブログ記事 Real-time Stream Processing Using Apache Spark Streaming and Apache Kafka on AWSを参照し
特徴 - Amazon MSK | AWS
Amazon Managed Streaming for Apache Kafka (MSK) は、フルマネージドの Apache Kafka を提供します。Amazon MSK は、サーバーのプロビジョニング、Apache Kafka クラスターの設定、障害時のサーバーの交換、サーバーのパッチとアップグレードのオーケストレート、高可用性のためのクラスターの構築、データの永続的な保存とセキュリティの確保、モニタリングとアラームの設定、負荷変動をサポートするためのスケーリングの実行を行います。マネージドサービスを利用することで、お客様はイベントアプリケーションのストリーミングの開発と実行に時間を費やすことができます。 Amazon MSK は、オープンソースで安全性の高い Apache Kafka クラスターを複数のアベイラビリティーゾーン (AZ) に分散して提供し、耐障害性と可用性の高い
料金 - Amazon MSK | AWS
Apache Kafka ブローカーインスタンス使用量の料金は時間単位で発生します (1 秒ごとに請求)。料金は、ブローカーインスタンスのサイズや、Amazon MSK クラスター内のアクティブなブローカーによって異なります。詳細については、ブローカーインスタンスの料金表をご覧ください。 また、クラスターでプロビジョニングしたストレージの量についての料金もお支払いいただきます。これは、1 時間あたりにプロビジョニングされた GB 数を加算した値を、その月の総使用時間数で除して算出します。これが、料金の例に示されている「GB-月」という値になります。詳細については、ブローカーストレージの料金表をご覧ください。ストレージのスループットを独立にプロビジョニングする選択肢もあり、プロビジョニングする月あたりの MB/s の量で課金されます。これは、ブローカーごとの 1 時間あたりにプロビジョニング
AWSエンジニア入門：Amazon MSKとは | ITエンジニア派遣ならオープンアップITエンジニア
ここではAWS（Amazon Web Service）が行っている「Amazon MSK（Amazon Managed Streaming for Apache Kafka）」というサービスについて簡単に解説します。 このサービスを使うことで、エンジニアや会社はどのようなメリットを得られるのでしょうか？ データストリームの入力を扱うツールに「Apache Kafka」というものがあります。 Apache Kafkaには「セットアップが難しい」「管理しづらい」などの欠点がありますが、Amazon MSKはこのデメリットを解決または軽減してくれるサービスです。 Amazon MSKでできること Amazon MSK を使えば、Apache Kafka の実行や管理をAmazon MSKが自動で行ってくれます。 これによってエンジニアが手を加えたり管理をしたりしなくても、Apache Kafka
Amazon MSK - Amazon Web Services (AWS)
Amazon Managed Streaming for Apache Kafka フルマネージド型で可用性が高い Apache Kafka サービスでデータを安全にストリーミングする
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
