Amazon Kinesis Data Streams Adds Enhanced Fan-Out and HTTP/2 for Faster Streaming | Amazon Web Services
AWS News Blog Amazon Kinesis Data Streams Adds Enhanced Fan-Out and HTTP/2 for Faster Streaming A few weeks ago, we launched two significant performance improving features for Amazon Kinesis Data Streams (KDS): enhanced fan-out and an HTTP/2 data retrieval API. Enhanced fan-out allows developers to scale up the number of stream consumers (applications reading data from a stream in real-time) by of
Amazon Monitron と Amazon Kinesis により予知保全のためのアクションにつながる洞察を得る方法 | Amazon Web Services
Amazon Web Services ブログ Amazon Monitron と Amazon Kinesis により予知保全のためのアクションにつながる洞察を得る方法 製造業の生産ライン、倉庫、工場などの産業設備における設備保全の管理者や技術者は、製品の生産量と品質を最大化するために、装置の健全性と稼働率を向上させることに熱心に取り組んでいます。設備や生産工程の不具合は、問題発生した後に対応を行うか、コストをかけて予防保全を行うことが多く、機器を必要以上の頻度でメンテナンスしたり、定期的な保全間隔の間に起こりうる問題を見逃したりする危険性があります。予知保全は、事後保全や予防保全よりも優れたプロアクティブな戦略です。実際に、このアプローチでは、継続的なモニタリング、予測分析、必要なタイミングでのアクションが組み合わされています。これにより、設備保全のチームは、実際の機器の状態に基づいて
Brisa Robotics が AWS を使用してロボティクスの運用を改善する方法 | Amazon Web Services
Amazon Web Services ブログ Brisa Robotics が AWS を使用してロボティクスの運用を改善する方法 この投稿では、Brisa Robotics がアマゾン ウェブ サービス (AWS) を活用して、さまざまな車両からデータを収集、保存、処理し、顧客業務を改善する方法について説明します。 Brisa は、自動運転ではない産業機械を自動運転車両に改造して、データを収集して顧客が主要なパフォーマンス指標を追跡し、業務を改善できるようにしています。彼らの使命は、スクラップを売って新しい機械を購入する代わりに、既存のインフラを活用して古い機械を再利用することで、顧客の効率を高めることです。Brisa は、フォークリフト、パレタイザー、テレハンドラーなどのマテリアルハンドリング機器 (MHE) を強化するための独自のモジュラーロボットキットを提供しています。これらのロ
[新機能]Kinesis Streamsが時刻ベースのイテレーターに対応しました | DevelopersIO
ユースケース Lambda関数のバグなどにより、Kinesis Stream でバッファリングされたレコードを途中からやり直さなければいけない時、これまでは再開開始するシーケンス番号をがんばって探し当てていましたが、今後は不具合発生日時がわかっていれば、その日時を指定するだけで済みます。 機能の使い方 Kinesis Streamの設定変更は不要です。 GetShardIterator API 呼び出し時に ShardIteratorType に AT_TIMESTAMP Timestamp に基点となるユニックスタイム を指定するだけです。 従来の ShardIteratorType はTypeだけを指定すれば済みましたが、ShardIteratorType 引数に AT_TIMESTAMP を指定した場合は、Timestamp 引数で起点となるタイムスタンプの指定も必要です。 以下では
![[新機能]Kinesis Streamsが時刻ベースのイテレーターに対応しました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0a96d01d2de2e95674919900d6d08c2f0e19390c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F07%2Fkinesis-icon-gray.png){kind=icon}
GetShardIterator - Amazon Kinesis Data Streams Service
Gets an Amazon Kinesis shard iterator. A shard iterator expires 5 minutes after it is returned to the requester. When invoking this API, you must use either the StreamARN or the StreamName parameter, or both. It is recommended that you use the StreamARN input parameter when you invoke this API. A shard iterator specifies the shard position from which to start reading data records sequentially. The
Python3の対話シェル上でKinesis Streams上のレコードを読みだす - Qiita
Pythonと boto3 によるAmazon Kinesis Streamからのレコードの読みだしを、対話型シェル上でステップバイステップで実行してみました。現在のレコードをちょっと確認してみたいと思って確認した際のメモです。 前提 APIアクセス用の認証情報がAWS CLIでデフォルトプロファイルまたは名前付きプロファイルに格納されていること Pythonがインストールされていること（ここではAnaconda 2020.02 for Windows Installerを使用しました） boto3がインストールされていること 手順 Boto3（AWS SDK for Python）のインポート Kinesisのクライアントの生成 Streamの取得 StreamのShardの取得 StreamのShardのイテレータの取得 イテレータからのレコード取得 実行 boto3 をインポートしK
【AWS】Kinesis上のデータを取得するワンライナー【Kinesis Stream】 - Qiita
はじめに KinesisStream上のデータを直接確認したいケースがままあるため、ワンライナーをメモ。 KinesisStream上のデータを取得するには以下の2ステップが必要です。 Shard Iteratorを取得する Shard Iteratorを利用して、getRecords APIを実行する これを1行で行います。 取得対象データのSequence Numberが分かっていることを前提とします。 また、jqにパスが通っている必要があります。 AWS CLIコマンド 基本パターン $ aws kinesis get-records \ --shard-iterator `aws kinesis get-shard-iterator \ --stream-name [ストリーム名] \ --shard-id [シャードID] \ --shard-iterator-type AT_S
【初心者】AWS kinesis を使ってみる - Qiita
動機 仕事でkinesisの話題になった。知ったかぶりができるようにするため、基本的な動作を実機で確認しておく。 やったこと streamの作成 streamへのデータの書き込み／読み出し(AWS CLI) pythonスクリプトからstreamに書き込みして、streamにレコードが書き込まれたらlambdaで処理 参考にした記事 AWS CLIを使って初めてAmazon Kinesisを使ってみた [新機能]Kinesis Streamsが時刻ベースのイテレーターに対応しました Lambda(Python)からKinesisにPut(API)してLambda(Python)でGet(Event)する 手順（CLIでの書き込み/読み出し） # shard 1本のstreamを作成 $ aws kinesis create-stream --stream-name mksamba-stre
AWS CLI を使用した基本的な Kinesis Data Stream オペレーションの実行 - Amazon Kinesis Data Streams
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 AWS CLI を使用した基本的な Kinesis Data Stream オペレーションの実行 このセクションでは、AWS CLI を使用した、コマンドラインからの Kinesis data stream の基本的な使用方法について説明します。Amazon Kinesis Data Streams の用語と概念で説明されている概念を理解している必要があります。 Kinesis Data Streams は AWS の無料利用枠の対象外であるため、ストリームの作成後は、Kinesis Data Streams の使用に対してアカウントに少額の料金が発生します。このチュートリアルを終了したら、AWS リソースを削除して料金が発生しないようにしてください。詳細については
[アップデート] CloudWatch Logs のロググループに2つのサブスクリプションフィルタを設定できるようになりました！ | DevelopersIO
[アップデート] CloudWatch Logs のロググループに2つのサブスクリプションフィルタを設定できるようになりました！ こんにちは。コンサル部@大阪オフィスのYui(@MayForBlue)です。 タイトルの通り、CloudWatch Logs のロググループに2つのサブスクリプションフィルタを設定できるようになりました〜！！！ 公式アナウンスはこちら。 Amazon CloudWatch Logs now supports two subscription filters per log group 何が嬉しいのか CloudWatch Logs のサブスクリプションフィルタは、CloudWatch Logs に出力されたログをリアルタイムに検知して特定の文字列を含むデータや全データをKinesis データストリーム、Kinesis Data Firehose、Lambdaなど
![[アップデート] CloudWatch Logs のロググループに2つのサブスクリプションフィルタを設定できるようになりました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/2cd56545af48138769ce47d03f22d7baac20b923/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-cloudwatch.png)
CloudWatch Logs サブスクリプションフィルタの使用 - Amazon CloudWatch ログ
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 CloudWatch Logs サブスクリプションフィルターの使用 サブスクリプションフィルターは、Kinesis データストリーム、Lambda、または Kinesis Data Firehose で使用できます。サブスクリプションフィルターを介して宛先サービスに送信されるログは、base64 でエンコードされ、gzip 形式で圧縮されます。 フィルターとパターン構文を使用してログデータを検索できます。 例 1: Kinesis データストリームのサブスクリプションフィルター 次の例では、サブスクリプションフィルターを AWS CloudTrail イベントを含むロググループに関連付けます。サブスクリプションフィルターは、「ルート AWS 」認証情報によって行われ
ステップ 1: 送信先を作成する - Amazon CloudWatch Logs
aws kinesis create-stream --stream-name "RecipientStream" --shard-count 1 ストリームがアクティブになるまで待ちます。aws kinesis describe-stream コマンドを使用して、StreamDescription.StreamStatus プロパティを確認できます。さらに、StreamDescription.StreamARN 値は後で CloudWatch Logs に渡されるため、書き留めておきます。 aws kinesis describe-stream --stream-name "RecipientStream" { "StreamDescription": { "StreamStatus": "ACTIVE", "StreamName": "RecipientStream", "Stream
Amazon CloudWatch Logsを別アカウントのKinesis Data Firehoseにプッシュする手順で脳内CPUが100%になったので図に描いてみた | DevelopersIO
こんにちは！コンサル部のinomaso(@inomasosan)です。 とある案件でAmazon CloudWatch Logsに保存したAmazon Auroraのログを、別アカウントのKinesis Data FirehoseにプッシュしS3に保存できるか調査しました。が、テキストだけ読んで理解しようとしたところ脳内CPUが高負荷で爆発しました。 そこで、今回は参考にした手順で作成するリソースを図に描いて、脳の負荷を軽減してみます。 まずはシングルアカウントでの手順を図にしてみる 理解を深めるために、まずはシングルアカウントでの手順から図にしてみます。 今回はAmazon Auroraの各種ログをCloudWatch LogsからS3に連携してみたを参考に、より詳細な図を描いてみました。 Amazon CloudWatch LogsとAmazon Kinesis Data Fireho
Amazon Kinesis Data StreamsにTwitter検索データを送信する - ヤマムギ
Kinesis Data Streamsの作成 ストリーム名とシャード数を決定するだけです。 シャードは 「各シャードは最大で 1 MiB/秒および 1000 レコード/秒を取得し、最大 2 MiB/秒を出力します。」 ということですので、1レコード1kbなさそうなレコードを最大100件送信するのでシャードは1つで足りそうです。 シャードエスティメーターで確認しても問題なさそうです。 作成されました。 シャードの数、タグ以外の設定は、サーバー側の暗号化、データ保持期間、シャードレベルメトリクスでした。 デフォルトの24時間、暗号化なし、シャードレベルの追加メトリクスなしにしました。 AWS CLI を使用した基本的な Kinesis Data Stream オペレーションの実行の手順でレコードの送信、受信をやってみました。 送信 $ aws kinesis put-record --str
【初心者向け】Amazon Kinesis Video Streams WebRTC SDKのC言語サンプルをRaspberry Piに実装する手順 - Qiita
【初心者向け】Amazon Kinesis Video Streams WebRTC SDKのC言語サンプルをRaspberry Piに実装する手順RaspberryPi初心者WebRTCハンズオンKinesisVideoStream 1． この記事の内容 WebRTCを勉強中の初心者エンジニアです。 前回は、Amazon Kinesis Video Streams WebRTC（以降KVS WebRTC） SDKのJavaScriptサンプルをEC2にデプロイして、ブラウザ間の通信確認をしました。 今回は、SDKのC言語サンプルを使ってRaspberryPi-ブラウザ間で通信確認をしたので、実装手順をまとめます。 この記事で触れる内容は以下です。 RaspberryPiをセットアップする方法 RaspberryPiでKVS WebRTC SDK（C）のサンプルを実行する方法 KVS We
Kinesis Data Analyticsを使ったストリーム分析のワークショップをやってみた | DevelopersIO
Kinesis Data AnalyticsではApache Flinkを使ったストリームデータに対するリアルタイム処理が可能です。 Kinesis Data Analyticsでは以下のブログで紹介されているようなSQLアプリケーションを使ったリアルタイム分析が可能です。 リアルタイム分析がやりたい！はじめてのKinesis Data Analytics | Developers.IO それだけではなく、Kinesis Data AnalyticsではApache FlinkベースのJavaアプリケーションでのリアルタイム分析も可能です。 新発表 – Amazon Kinesis Data Analytics for Java | Amazon Web Services ブログ という訳で、今回はKinesis Data AnalyticsのJavaアプリケーションの開発の流れを知ること
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How can I decode stream data from kinesis firehose?
Cross-account log data sharing using Kinesis Data Streams - Amazon CloudWatch Logs
AWS CloudWatch Logs のログデータを S3 に配信する（Kinesis Data Firehose）
Streaming Data Platform on the AWS Cloud