Amazon Kinesis StreamsのリシャーディングがAPI一発で行えるようになりました | DevelopersIO
Amazon Kinesis Streamer の皆様こんにちは。 リシャーディングのあまりの面倒くささから、ピークに合わせてシャード数を固定してストリーム運用したり、シャード数変更の際は同じ名前でシャード数だけ変えて作り直してきたという方が多いのではないでしょうか。 2016/11/16のサービスアップデートにより、ストリームのリシャーディングが API 一発で実行出来るようになりました。 トラフィックに合わせてシャード数をダイナミックにオートスケールさせるなど、夢広がる API です。 早速試してみました。 旧方式のリシャーディング:SplitShard API 編 Amazon Kinesis Streams のストリームはシャードを束ねたものであり、シャード1本辺りの性能上限が決まっているため、ストリームのキャパシティを増やしたければ、シャード数を増やすことになります。 AWS B
Build a Visualization and Monitoring Dashboard for IoT Data with Amazon Kinesis Analytics and Amazon QuickSight | AWS Big Data Blog
AWS Big Data Blog Build a Visualization and Monitoring Dashboard for IoT Data with Amazon Kinesis Analytics and Amazon QuickSight April 2024: The solution presented in this post is deprecated. Customers across the world are increasingly building innovative Internet of Things (IoT) workloads on AWS. With AWS, they can handle the constant stream of data coming from millions of new, internet-connecte
よくある質問 - Aamzon Kinesis Data Streams | AWS
Q: Amazon Kinesis Data Streams とは何ですか? Amazon Kinesis データストリームを使用すると、特定のニーズに合わせてストリーミングデータを処理または分析するカスタムアプリケーションを構築できます。クリックストリーム、アプリケーションログ、ソーシャルメディアなどのさまざまなタイプのデータを何十万ものソースから Kinesis データストリームに追加できます。数秒後には、アプリケーションでストリームからデータを読み取って処理できます。 Q: Amazon Kinesis データストリームでは何を管理しますか? Amazon Kinesis データストリームでは、データスループットのレベルでデータをストリーミングするために必要なインフラストラクチャ、ストレージ、ネットワーク、設定を管理します。データストリームのためのハードウェア、ソフトウェア、その他の
Amazon SQS と Kinesis はどう違うのか？～ユーザが求めるキュー(queue)の姿～｜AWSを使い倒せ - GiXo Ltd.
Amazon SQS と Kinesis はどう違うのか？～ユーザが求めるキュー(queue)の姿～｜AWSを使い倒せ どちらも広義なキュー(queue)。でもキューに期待するものが違う。 こんにちは。技術チームの岩谷です。最近、とあるかたから「Kinesisというキーワードを聞くけど、SQSに似ていませんか？違いは何なのでしょう？」という質問をいただきました。 SQSとKinesis、この両者は共にAWSのクラウドサービスで「広義のキューサービス」という意味では共通点があります。すなわち、 データを投入する データを取り出す、またその際に順序性を制御する仕組みが備わっている 取出したデータは、即座もしくは短寿命で消去される データの「投入→取出」の動作がセットで利用される。 という利用方法は共通しています。これは「データの待ち行列」である「キュー」の概念と一致しています。しかしこの両者の
Amazon KinesisとApache Kafkaの類似点／相違点まとめ - 夢とガラクタの集積場
こんにちは。 Amazon Kinesisについて調べたり実装してみたりしたため、 モデルがよく似たApache Kafkaとの類似点や相違点が気になってきました。 というわけで、実際比べてみた結果どうだったのかをまとめてみます。 1.2つのプロダクトの類似点 Amazon KinesisとApache Kafkaの大きな類似点として、以下があります。 1.メッセージを取得したタイミングで削除するのではなく、一定期間経過後に削除するモデルを取っている Kestrel、RabbitMQといったプロダクトはメッセージを取得され、利用側から応答が返った段階で削除するモデルを取っている。 「メッセージキュー」と言いあらわした場合、削除するモデルの方がイメージ的には近い？ Amazon Kinesis、Apache Kafkaはメッセージの提供を行うのみで削除は行わない。一定時間経過後に削除している
【新機能】Kinesis Analyticsが利用可能になりました！ ｜ DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 8/10〜11に開催していたのAWS Summit New York 2016のKeynoteの中で、Kinesis Analyticsが利用可能になったという発表がありましたので試してみました。 Kinesis Analytics Kinesis Analyticsはre:Invent 2015で発表されたストリームデータ処理サービスです。当時は来年に使用可能になるとの発表のみで詳細が不明でしたが、ようやく利用可能になりました。 Kinesis Analyticsはストリームデータに対してSQLで処理を行う機能です。Kinesis Stream ＋ Lambdaでもストリーム処理は可能ですが、基本的には1レコード単位か１回に取り出したデータしかまとめて処理ができませんでした。Kinesis Analyticsでは、データの変換を行った
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kinesis Streams vs Firehose vs SQS | Sumo Logic
Tumbling Windows (Aggregations Using GROUP BY) - Amazon Kinesis Data Analytics for SQL Applications Developer Guide