[新機能]Kinesis Streamsがシャード単位のメトリクスに対応しました | DevelopersIO
2016/04/19のアップデートにより、Kinesisストリームはシャード単位のメトリクス(shard level metrics)に対応しました。 Amazon Kinesis アップデート – Amazon Elasticsearch Service との統合、シャード単位のメトリクス、時刻ベースのイテレーター | Amazon Web Services ブログ 従来はストリーム単位のメトリクスにしか対応していませんでしたが、今回の機能追加により シャード間のレコードの偏り データ処理の止まっているシャード データ処理遅延の発生しているシャード などを簡単に検出できるようになりました。 機能概要 シャード単位メトリクスを有効にするには? シャード単位のメトリクスは RDS にもあるEnhanced Monitoring(拡張モニタリング)の形で提供され、標準では無効化されています。ま
![[新機能]Kinesis Streamsがシャード単位のメトリクスに対応しました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0a96d01d2de2e95674919900d6d08c2f0e19390c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F07%2Fkinesis-icon-gray.png){kind=icon}
neue cc - Amazon Kinesis + Reactive Extensionsによる簡易CEP
AWSのAmazon Kinesis！大規模なストリーミングデータをリアルタイムで処理する完全マネージド型サービス。うーん、いかにもわくわくしそうなキーワードが並んでいます。そしてついに先日、東京リージョンでも利用可能になったということでAWS Summitの最中もｗｋｔｋして、どうやって利用したもんかと考えてました。だって、リアルタイムにイベントデータが流れてくる→オブザーバブルシーケンス→Reactive Extensions(Rx)、という連想になるのは自然なことですよね？ Kinesisとは Rx、の前にKinesisとは。【AWS発表】 Amazon Kinesis – ストリームデータのリアルタイム処理を見れば事足りますが、表現するなら土管、ですかね。イベントデータの。以下ぽんち絵 Streamの中はShardという単位で分かれていて、データを放り込む時はPartitionKe
Kinesisの複数PUT対応APIを試してみた | DevelopersIO
はじめに AWSチームのすずきです。 AWSが提供するストリーミングデータの受口となるAmazon Kinesis。 2014年12月のアップデートにより、複数レコード（最大500件、1件50KBの合計容量上限は4.5MB）の登録を、1回のAPI実行で行う事が可能となりました。 Amazon Kinesis Update - New High-Throughput PutRecords API Function Kinesisの用途が広がる可能性がある当機能、AWS CLIを利用し簡単に試す事が可能となっていますので、紹介させて頂きます。 準備 OSはAmaon Linux 201409を利用します。 EC2ロールとして、Kinesisを含むIAM権限を付与済とします。 AWS CLIは1.6.6以降を必要とするため、OS付属のものを入替えます。 AWS CLI 1.6.6.リリース情報（
PutRecord - Amazon Kinesis Data Streams Service
Writes a single data record into an Amazon Kinesis data stream. Call PutRecord to send data into the stream for real-time ingestion and subsequent processing, one record at a time. Each shard can support writes up to 1,000 records per second, up to a maximum data write total of 1 MiB per second. When invoking this API, you must use either the StreamARN or the StreamName parameter, or both. It is r
AWS News Blog
Amazon SageMaker Geospatial Capabilities Now Generally Available with Security Updates and More Use Case Samples At AWS re:Invent 2022, we previewed Amazon SageMaker geospatial capabilities, allowing data scientists and machine learning (ML) engineers to build, train, and deploy ML models using geospatial data. Geospatial ML with Amazon SageMaker supports access to readily available geospatial dat
ClojureとKinesisの相性が良さそうという話 - Qiita
Clojureを使うと面倒なKCLアプリケーションが簡単にかけますよといったような話をします。 1. ClojureとAWS 実はAWSにそこまで詳しいわけではないのですが、AWSのアプリケーションは大体Javaから使用されることが想定されているような気がします。 もちろん、各言語向けのSDKもありますし、中の人たちも好きにJSやらRubyやら使っているようですが、どうにもJavaのSDKを使ったほうが色々とサポートが手厚いような印象を、Kinesisを試したときに受けました。 しかしできればJavaは書きたくないものです。 もっというならEclipseも起動したくありません。Emacsが使いたい。 そう思い、どうしたもんかなあと悩んでいたのですが、そんなときにうってつけの言語があることを思い出しました。 そうです。Clojureです。 ClojureはJVMで動くので、Javaの資産が使
Amazon Kinesis Clinet Library for Ruby - Qiita
しれっとAmazon Kinesis Client Library for Ruby(以下、kclrb)がリリースされていたのだが、ちょうど仕事でKinesisを使う機会があったので使ってみた。 Sampleが優秀。Python版より使い始めが簡単！ githubのプロジェクトに同梱されているsamplesが結構優秀だった。とりあえずrake run すれば動く。で、そのままサンプルアプリを改造していく感じで自前のアプリが書き始められる。このあたりはPython版よりもだいぶ使い始めが簡単。 サンプルのファイル構成は以下のとおり。 Rakefile rake runでsample_kcl.rbを起動してくれる samples.properties rake_runで利用される設定ファイル。ストリームのリージョンや名前、KCLアプリケーション名、並列度などを設定する。 sample_kcl.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://qiita.com/inokappa/items/999e940d3d33d115cc40
Amazon Kinesis（ストリーミングデータをリアルタイムで収集、処理、分析）| AWS