タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
Amazon Kinesis Data Streams On-Demand – Stream Data at Scale Without Managing Capacity | Amazon Web Services
AWS News Blog Amazon Kinesis Data Streams On-Demand – Stream Data at Scale Without Managing Capacity Today we are launching Amazon Kinesis Data Streams On-demand, a new capacity mode. This capacity mode eliminates capacity provisioning and management for streaming workloads. Kinesis Data Streams is a fully-managed, serverless service for real-time processing of streamed data at a massive scale. Ki
Amazon Kinesis Data Streams On-Demand – キャパシティーを管理せずに大規模にデータをストリーミング | Amazon Web Services
Amazon Web Services ブログ Amazon Kinesis Data Streams On-Demand – キャパシティーを管理せずに大規模にデータをストリーミング 2021 年 11 月 30 日（米国時間）、新しいキャパシティーモードである Amazon Kinesis Data Streams On-demand をローンチしました。このキャパシティーモードでは、ストリーミングワークロードのキャパシティーのプロビジョニングと管理が不要になります Kinesis Data Streams はフルマネージド型のサーバーレスサービスであり、ストリーミングされたデータを大規模にリアルタイムに処理します。Kinesis Data Streams は、任意の数のソースから任意の量のデータを取得し、必要に応じてスケールアップおよびスケールダウンできます。2013 年 11 月に
Amazon Kinesis Data Streams + Protocol Buffersで実現するイベント駆動アーキテクチャー
アソビュー！ Advent Calendar 2020 の18日目です。 初めまして、アソビュー！SREのkirimaruです。 最近Amazon Kinesis Data Streams用の社内向けライブラリ「Pelican」を開発したのでその話を書こう！と思ったのですが、Amazon Kinesis Data Streamsの活用事例と合わせて、そもそもこのライブラリを開発する経緯をまず書こうと思います。 余談ですが僕のアイコンはこのライブラリ用のアイコンとして作ったのものです。 アソビュー！ Advent Calendar 2020 の2日目に上記の記事が投稿されています。 その中で今回の主題のひとつであるProtocol Buffersについて下記のように触れています。 🆕 Protocol Buffers / gRPC 以前の記事の時点では、RESTfulなAPIを利用するケー
Audioデータをクラウドに送ってみました。 MQTT(basic ingest) + Amazon Kinesis Data Streams + Amazon Kinesis Data Firehose + S3 (バイナリ) | DevelopersIO
1 はじめに CX事業本部の平内（SIN）です。 ここまで、エッジ側のAudioデータをクラウドへ送信する要領をいくつか試してみました。 上記のうち、最後だけは、バイナリ型式でデータを送ってみたのですが、実は、AWS IoT SDKのMQTTクライアントのPublishもpayloadは、bufferとなってます。 https://awslabs.github.io/aws-crt-python/api/mqtt.html?#awscrt.mqtt.Connection.publish 今回は、AudioデータをJSON化せず、バイナリ形式のまま送信する要領を確認してみました。 2 構成 構成は、前回とほぼ同じです。 デバイスからは、500msec単位で、Audioデータ（バイナリ形式）とタイムスタンプ（バイナリ形式）を結合したものをPayloadとしてMQTTで送信します。 Amazon
Building a real-time notification system with Amazon Kinesis Data Streams for Amazon DynamoDB and Amazon Kinesis Data Analytics for Apache Flink | Amazon Web Services
AWS Big Data Blog Building a real-time notification system with Amazon Kinesis Data Streams for Amazon DynamoDB and Amazon Kinesis Data Analytics for Apache Flink August 30, 2023: Amazon Kinesis Data Analytics has been renamed to Amazon Managed Service for Apache Flink. Read the announcement in the AWS News Blog and learn more. Amazon DynamoDB helps you capture high-velocity data such as clickstre
【速報】Amazon Kinesis Data Streams のデータ保持期間が最大1年に拡張されました #reinvent | DevelopersIO
日本時間2020年12月10日深夜のAWS re:Invent 2020のAnalyticsのリーダーシップセッションにて、Amazon Kinesis Data Streamsのデータ保持期間が最大1年に拡張されたことが発表されました。 データ保持期間 とは Amazon Kinesis Data Streamsは、ストリームデータの保持期間デフォルトの24時間のみでしたが、re:Invent2015のタイミングにレコードの有効期間を24時間から最大168時間（7日）まで延長できるようになりました。 それからはや5年、re:Invent2020では、レコードの有効期間を最大8760時間（１年）まで延長できるようになりました。 データ保持期間の背景 この５年間の間に、Kinesis関連サービスも拡充され、今では誰もが普通のサービスとして利用されるぐらい一般的になりました。 データ保持期間が
Amazon Kinesis Data Streams launches cross-account access with AWS Lambda
Amazon Kinesis Data Streams now supports resource-based policies, so you can process data ingested into a stream in one account with an AWS Lambda function in another account. Amazon Kinesis Data Streams is a serverless real-time data streaming service that can continuously capture gigabytes of data per second from hundreds of thousands of sources. AWS Lambda is a serverless compute service that l
Kinesis Data Streamsの作成 ストリーム名とシャード数を決定するだけです。 シャードは 「各シャードは最大で 1 MiB/秒および 1000 レコード/秒を取得し、最大 2 MiB/秒を出力します。」 ということですので、1レコード1kbなさそうなレコードを最大100件送信するのでシャードは1つで足りそうです。 シャードエスティメーターで確認しても問題なさそうです。 作成されました。 シャードの数、タグ以外の設定は、サーバー側の暗号化、データ保持期間、シャードレベルメトリクスでした。 デフォルトの24時間、暗号化なし、シャードレベルの追加メトリクスなしにしました。 AWS CLI を使用した基本的な Kinesis Data Stream オペレーションの実行の手順でレコードの送信、受信をやってみました。 送信 $ aws kinesis put-record --str
Kinesis Client Library を使用する - Amazon Kinesis Data Streams
KCL 1.x と 2.x KCL の両方で、使用シナリオに応じて、最新の KCL 1.x バージョンまたは KCL 2.x バージョンにアップグレードすることをお勧めします。1.x KCL と KCL 2.x はどちらも、最新の依存関係とセキュリティのパッチ、バグ修正、下位互換性のある新機能を含む新しいリリースで定期的に更新されます。詳細については、https://github.com/awslabs/amazon-kinesis-client「/releases」を参照してください。 Kinesis Client Library (KCL) とは何ですか? KCL は、分散コンピューティングに関連する複雑なタスクの多くを処理することで、Kinesis データストリームからのデータの消費と処理に役立ちます。これには、複数のコンシューマーアプリケーションインスタンス間での負荷分散、コンシュ
ストリーミングデータを Amazon Kinesis Data Streams に最大 1 年間保存できるようになりました。ストリーミングデータを長期間保持すると、Amazon Kinesis Data Streams に保持されているリアルタイムデータと古いデータの両方で同じプラットフォームを使用できます。例えば、データを別のデータストアに移動したり、新しいアプリケーションを作成したりすることなく、金融取引、マーケティングのパーソナライズ、レコメンデーションモデル向けの機械学習アルゴリズムをトレーニングできます。また、長期保存を使用して、HIPAA や FedRAMP などの特定のデータ保存規制を満たすこともできます。追加のストレージやコンピューティングリソースをプロビジョニングせずに、保存および取得したデータに対してのみ料金を支払います。 Amazon Kinesis Data Str
Amazon Kinesis Data Streams の用語と概念 - Amazon Kinesis Data Streams
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Amazon Kinesis Data Streams の用語と概念 Kinesis Data Streams の高レベルアーキテクチャを確認する 以下の図に、Kinesis Data Streams のアーキテクチャの概要を示します。プロデューサーは継続的にデータを Kinesis Data Streams にプッシュし、コンシューマーはリアルタイムでデータを処理します。コンシューマー (Amazon で実行されているカスタムアプリケーションEC2や Amazon Data Firehose 配信ストリームなど) は、Amazon DynamoDB 、Amazon Redshift、Amazon S3 などの AWS サービスを使用して結果を保存できます。 Kin
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Kinesis Data StreamsにTwitter検索データを送信する - ヤマムギ
Amazon Kinesis Data Streams は、最大 1 年間のデータストリームの保持が可能に
x.com
www.pixiv.net
www.itmedia.co.jp
forbesjapan.com
blog.livedoor.jp/nwknews
www.tokai-tv.com