[B! Kinesis] slay-tのブックマーク

[速報] CloudWatchの監視メトリクスをKinesis経由でストリーム送信可能な新機能「CloudWatch Metric Streams」が登場しました！ | DevelopersIO

Amazon CloudWatch に新しい機能、Metric Stream が登場しました！いままでCloudWatchのメトリクスデータを、New RelicやDatadogのような外部のSaaSから参照しようと思ったら、定期的にAPIでポーリングするしかありませんでした。そのため、（この公式Blogにも書いてますが）メトリクスの種類によっては5〜10分程度の遅延が発生することになってました。今回の機能で、CloudWatch側で更新されると同時にSaaS側へもpushされることになるため、同じタイミングで参照できるようになります。これはうれしいですね！ CloudWatch Metric Streamで出来ること要は、CloudWatch MetricのデータをKinesis Data Firehoseに流し込むことができる機能です。 Firehose はストリームデータをS3

slay-t 2021/04/02

リンク

Kinesis Firehose のデータ変換を Rust でやってみて速度向上が見込めた話 - ソモサン

概要 Rust コードを Lambda 上で動かせたーと喜んだんですが、活用どころあるんだろうかと考えてみて検証してみました。結果として Python 比較で1秒当たりで 15 倍ほど多く処理できました。以下でつらつらと書いていってます。前提: Lambda の環境について Python比で起動時間に差がない Rust はそこそこバイナリサイズが大きくなります。前回書いた Kinesis から S3 へ保存するコードも、Lambda のコンソール上で 1MB という数字になってました。ライブラリ結構使っているとはいえ、やっぱりでかいです。当然デバッグ情報の削除やならんやらで小さくはなるのですが、 Python なら500 B 程度。結果として初期の起動速度の差がでてるのかなーと考えてます。ので、Rust を使うなら起動してすぐ結果をかえす場面でなく、そこそこじっくりと処理す

slay-t 2017/12/20

リンク

Amazon Kinesisをプログラマフレンドリにするフレームワークを考える - Qiita

この記事はAWS Advent Calandarの21日目の記事です。これは個人のメモ/意見であり、私の所属する組織を代表するものではありません。また、記事中のコード片はすべてMITライセンスにて提供されるものとします。サマリと背景テーマとしては、Amazon Kinesisとのプログラマとしての付き合い方について考えてみたという話。「Kinesisでリアルタイム分析だ！」とか「IoTだ！」とか「ストリーム処理だ！」みたいな感じにマジックワードが飛び交っていて、実際の実装の話があまり世に出てこないのに違和感を感じたのがこの記事を書こうと思った発端。違和感を書き連ねるだけだとアレなので、Kinesisをもっとプログラマフレンドリにするにはどうしたらいいんだろう、というのを考えてみた。あと、RxJSを触りたかったというのもある笑 2013年のRe:Inventで発表されたサービスで、

slay-t 2014/12/22

リンク

Kafka+Storm+Elasticsearch+Kibanaでストリームデータ処理の可視化を行ってみた - Taste of Tech Topics

こんにちは。kimukimuです。 AWS re:Invent 2013 で Amazon Kinesis が発表されるなど、ストリームデータ処理に対するニーズの高まりを感じますね。（Amazon Kinesis は、Stormとも連携できるようになっているようです）。さて、先日、Storm 0.9.0 が正式リリースされたり、Apache Kafka 0.8.0 が正式リリースされたりしたので、それらを連携して、ストリームデータの可視化を行うプロトタイプを作ってみました。 1. はじめにまず、「ストリームデータ」とは、連続的に発生し続けるデータのことを指します。システムが出力するログやセンサーが発生するデータ、SNSなどで常時発生するメッセージなどが該当します。今回は、Apacheが出力するログを、ストリームデータとして収集・可視化することを行ってみます。 1-1.やりたい

slay-t 2013/12/13

リンク

ストリームデータをリアルタイム処理するプラットフォーム「Amazon Kinesis」を発表。1時間あたり5ドルでリアルタイムなツイートデータを分析可能。AWS re:Invent 2013

ストリームデータをリアルタイム処理するプラットフォーム「Amazon Kinesis」を発表。1時間あたり5ドルでリアルタイムなツイートデータを分析可能。AWS re:Invent 2013 Amazon Web Servicesが主催するイベント「AWS re:Invent 2013」、基調講演の最後に発表されたのは、リアルタイム処理を行うプラットフォームとなる「Amazon Kinesis」でした。 Kinesisは、大量に発生するリアルタムデータを漏らさず永続化し、そこから必要なデータをアプリケーションに流すフィルタとして動作するようです。実際のデータ処理は、Kinesisからデータを受け取ったアプリケーションが行います。 2日目の基調講演で披露されたKinesisの説明をまとめました。 Amazon Kinesisを発表 Amazon.com CTO Werner Vogels氏。

slay-t 2013/11/18

リンク

はてなブックマーク

タグ

関連タグで絞り込む (15)

Kinesisに関するslay-tのブックマーク (5)

お知らせ

今週のはてなブックマーク数ランキング（2024年10月第1週）

月間はてなブックマーク数ランキング（2024年9月）

今週のはてなブックマーク数ランキング（2024年9月第5週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス