[B! amazon-kinesis-data-streams][classmethod] nabinnoのブックマーク

nabinno id:nabinno

amazon-kinesis-data-streamsとclassmethodに関するnabinnoのブックマーク (5)

[速報] CloudWatchの監視メトリクスをKinesis経由でストリーム送信可能な新機能「CloudWatch Metric Streams」が登場しました！ | DevelopersIO
Amazon CloudWatch に新しい機能、Metric Stream が登場しました！いままでCloudWatchのメトリクスデータを、New RelicやDatadogのような外部のSaaSから参照しようと思ったら、定期的にAPIでポーリングするしかありませんでした。そのため、（この公式Blogにも書いてますが）メトリクスの種類によっては5〜10分程度の遅延が発生することになってました。今回の機能で、CloudWatch側で更新されると同時にSaaS側へもpushされることになるため、同じタイミングで参照できるようになります。これはうれしいですね！ CloudWatch Metric Streamで出来ること要は、CloudWatch MetricのデータをKinesis Data Firehoseに流し込むことができる機能です。 Firehose はストリームデータをS3
nabinno 2021/04/12
classmethod

amazon-cloudwatch-metric

cloudwatch-metric-stream

amazon-kinesis-data-streams
リンク
Amazon Kinesis StreamsとAmazon Kinesis Firehoseは何が違うのか | DevelopersIO
こんにちは、せーのです。先日のRe:InventでKinesisの体系が変わりまして、「Kinesis Family」「Kinesis三兄弟」なんて言われるようになりました。今まではKinesisの一機能として「Kinesis Streams」というのがあったのですが、それがメインのサービスとして昇華し、新たに「Kinesis Firehose」「Kinesis Analytics」が増えて現在の形になりました。今回はそのうち混同しやすい「Kinesis Firehose」と「Kinesis Streams」の使い分けについてご紹介したいと思います。やろうと思えば両方できる Kinesis Streamsは次々と送られる大量のデータをリアルタイムに収集、次のサービスに配送するためのサービスです。一方Kinesis Firehoseは同じく次々と送られる大量のデータをRedShift
nabinno 2020/12/09
classmethod

amazon-kinesis-data-streams

amazon-kinesis-data-firehose

functional-comparison
リンク
KinesisとSQSの比較検討のため、Amazon Kinesis Data Streams のチュートリアルをやってみた | DevelopersIO
モバイルアプリサービス部の五十嵐です。 KinesisとSQSの比較検討のため、Kinesisをより知るために公式のチュートリアルをさわってみました。前提知識として前提知識として、ストリームとシャード、プロデューサーとコンシューマーなどの用語の意味を抑えておくといいと思います。AWS Black Belt Online Seminarのスライドがわかりやすかったので紹介しておきます。 AWS Black Belt Online Seminar 2017 Amazon Kinesis チュートリアルチュートリアル: Amazon Kinesis Data Streams を使用したウェブトラフィックの可視化 - Amazon Kinesis Data Streams 概要このサンプルアプリケーションは、さまざまな URL からのシミュレート上の閲覧者の数を Kinesis data
nabinno 2019/12/29
classmethod

amazon-kinesis

amazon-kinesis-data-streams

amazon-sqs

functional-comparison
リンク
[レポート]ANT398 – Amazon Managed Streaming for Kafka (Amazon MSK)入門 #reinvent | DevelopersIO
本記事はAWS re:Invent 2018のSession「ANT398 - [NEW LAUNCH!] Introducing Amazon Managed Streaming for Kafka (Amazon MSK)」のレポートです。 re:Invent 中に発表された Apache Kafka のフルマネージドサービス「Amazon Managed Streaming for Kafka (Amazon MSK)」の入門セッションです。セッションについてスピーカー Damian Wylie - Principal Product Manager 概要 Discover the power of running Apache Kafka on a fully managed AWS service. In this session, we describe how Amazo
nabinno 2019/09/08
classmethod

amazon-msk

amazon-kinesis-data-streams

publish-subscribe-pattern

concurrent-computing

analytics
リンク
Kinesis Producer Library(KPL)とfluentdとLambdaを連携してKinesisのスループットを上げる | DevelopersIO
Kinesis Producer Library(KPL)とfluentdとLambdaを連携してKinesisのスループットを上げる 2016/06/03(金)のAWS Summit Tokyo 2016でクックパッド株式会社の星さんが「秒間数万のログをいい感じにするアーキテクチャ」という発表をされました。クックパッドのログ収集基盤が Fluentd や Amazon Kinesis Streams や Redshift を活用していい感じするアーキテクチャが参考になった方は非常に多いと思います(あの規模のサービスに関わるかはともかく)。発表の中でKinesis Producer Library(以下 KPL)を使ってログ数多すぎ問題を解決したことが語られていました。個人的には、Kinesis Streams のシャード数を増やせばどうにかなるレベルのサービスしか担当したことがない
nabinno 2018/06/27
fluentd

data-collection

log-management

workflow-management-system
リンク
1