Kinesis Data Streams の新機能の使用により、ファンアウトが 5 倍拡大し、データストリームが 65% 高速化
新しい HTTP/2 データ取得 API と拡張ファンアウトという、Amazon Kinesis Data Streams の 2 つの新機能をご案内します。この新機能により、Kinesis Data Streams アプリケーションのパフォーマンスが向上します。 この新しい拡張ファンアウト機能では、1 つ以上のコンシューマーとシャード間でスループットが最大 2MB/秒の論理パイプを利用できるため、お客様はパフォーマンスを維持しながら、ストリームから同時に読み取りを行うコンシューマーの数をスケールできます。SubscribeToShard と呼ばれる新しい HTTP/2 データ取得 API では、プロデューサーと複数のコンシューマー間のデータ配信速度が 65% 以上改善されています。この新しい API を使用すると、データは通常、拡張ファンアウトを使用して、プロデューサーから複数のコンシュ
Kinesis Analyticsの適用できない用途と、Kinesis Firehoseの苦労話
2. 自己紹介 • Kimura, Sotaro(@kimutansk) – ドワンゴでデータエンジニアやってます • データ分析基盤の管理 • データ分析に必要な各種ETLパイプライン構築 • 生データを集計したデータマートの設計構築 • データフォーマット、内容等の設計 etc... – 好きな技術分野 • ストリーム処理（主にJVM上） • 分散システム • 実装言語：Scala, Go – 好きなAWSサービス • Amazon Kinesis Streams • Amazon Kinesis Firehose • Amazon Kinesis Analytics 3. Kinesisとの出会い • Apache Kafkaを試している頃にKinesis Streams発表 – これはつまりManaged Kafkaだ！とわくわく • ということで・・・ – こんなことを試してまし
Real-time Machine Learning Analytics Using Structured Streaming and Kinesis Firehose
Real-time Machine Learning Analytics Using Structured Streaming and Kinesis Firehose Persisting data from Amazon Kinesis using Amazon Kinesis Firehose is a popular pattern for streaming projects. However, building real-time analytics on these data introduces challenges, including managing the format, size and frequency of the files created. This session will present an end-to-end use case for depl
Kinesis Firehose のデータ変換を Rust でやってみて速度向上が見込めた話 - ソモサン
概要 Rust コードを Lambda 上で動かせたーと喜んだんですが、活用どころあるんだろうかと考えてみて検証してみました。 結果として Python 比較で1秒当たりで 15 倍ほど多く処理できました。 以下でつらつらと書いていってます。 前提: Lambda の環境について Python比で起動時間に差がない Rust はそこそこバイナリサイズが大きくなります。 前回書いた Kinesis から S3 へ保存するコードも、Lambda のコンソール上で 1MB という数字になってました。 ライブラリ結構使っているとはいえ、やっぱりでかいです。 当然デバッグ情報の削除やならんやらで小さくはなるのですが、 Python なら500 B 程度。 結果として初期の起動速度の差がでてるのかなーと考えてます。 ので、Rust を使うなら起動してすぐ結果をかえす場面でなく、そこそこじっくりと処理す
AWS re:Invent 2017: Real-Time Anomaly Detection Using Amazon Kinesis (ABD335)
Amazon Kinesis Analytics offers a built-in machine learning algorithm that you can use to easily detect anomalies in your VPC network traffic and improve security monitoring. Join us for an interactive discussion on how to stream your VPC flow Logs to Amazon Kinesis Streams and identify anomalies using Kinesis Analytics.
New – AWS PrivateLink for AWS Services: Kinesis, Service Catalog, EC2 Systems Manager, Amazon EC2 APIs, and ELB APIs in your VPC | Amazon Web Services
AWS News Blog New – AWS PrivateLink for AWS Services: Kinesis, Service Catalog, EC2 Systems Manager, Amazon EC2 APIs, and ELB APIs in your VPC This guest post is by Colm MacCárthaigh, Senior Engineer for Amazon Virtual Private Cloud. Since VPC Endpoints launched in 2015, creating Endpoints has been a popular way to securely access S3 and DynamoDB from an Amazon Virtual Private Cloud (VPC) without
Publishing with Apache Kafka at The New York Times | Confluent
At The New York Times we have a number of different systems that are used for producing content. We have several Content Management Systems, and we use third-party data and wire stories. Furthermore, given 161 years of journalism and 21 years of publishing content online, we have huge archives of content that still need to be available online, that need to be searchable, and that generally need to
Amazon Kinesis Firehose is now available in Asia Pacific (Tokyo), EU (Frankfurt), and US East (Ohio) regions
Amazon Kinesis Firehose is the easiest way to load streaming data into AWS. It can capture, transform, and load streaming data into Amazon Kinesis Analytics, Amazon S3, Amazon Redshift, and Amazon Elasticsearch Service, enabling near real-time analytics with existing business intelligence tools and dashboards you are already using today. We are excited to announce the availability of Kinesis Fireh
Amazon Kinesis Firehose can now read data directly from Amazon Kinesis Streams
Amazon Kinesis Firehose is the easiest way to load streaming data into AWS. Today we have added a built-in integration that allows you to send streaming data from Kinesis Streams to Kinesis Firehose by configuring your stream as a data source to Kinesis Firehose using the console or API. You can now create and configure a Firehose delivery stream to automatically read data from your Kinesis stream
f290ed5d4e305508dc63
注記： re:Invent2019でLambda streamアクセス、エラーハンドルの仕方にupdateが入っております。 起動についてはこちら、エラーハンドルはこちらなど、update情報が落ち着いた後、こちらの記事をupdateしようと思いますので、updateが入っている前提で読んでいただければと思います。 はじめに AWS Lambdaの必要な数を設計するときに、同期/非同期/streamの呼び出しパターンがあるのは、ご存知でしょうか？公式情報はこちら 同期型はイベント駆動型というと理解が早いでしょうか？ API Gateway/S3/CloudTrailをトリガーにした場合の呼び出し方法です。 stream型データ= kinesis streams/DynamoDB Streamsをトリガーにした場合です。 同期型の場合、利用量が増えてくるとAWS Lambdaの同時起動数を増
スケーラブル tail -f | grep on AWS - KAYAC engineers' blog
こんにちは。組長こと @fujiwara (id:sfujiwara) です。 早速ですが皆さん、ログは見ていますか? 当然見ていますよね。tail -f で追いかけるとか大好きですよね。という前提で話を進めましょう。 この記事は Tech KAYAC Advent Calendar 2016 の24日目の記事です。 TL;DR 多種多様なホストから発生するログの末尾を tail -f で追いかけたい fluentd + ローカルファイルで行うのはちょっと面倒 Amazon Kinesis + Lambda を使ってスケーラブルな仕組みを考えてみた kinesis-tailf というツールも作った 既存の仕組みと問題点 techblog.kayac.com 弊社の Lobi とソーシャルゲームでは、この記事で紹介されたような Fluentd を活用したログ集約の仕組みを整備しています。この
Pydata Amazon Kinesisのご紹介
1. Amazon Kinesisの紹介 と使いドコロ アマゾンデータサービスジャパン株式会社 パートナーソリューションアーキテクト 榎並 利利晃 2. ⾃自⼰己紹介 • 名前 – 榎並 利利晃（えなみ としあき） – toshiake@amazon.co.jp – @ToshiakiEnami • 役割 – パートナーソリューションアーキテクト – 主にエマージングパートナー様を担当 • 好きなAWSのサービス – Amazon Kinesis – Amazon DynamoDB 3. AWSでの例例：迅速かつ正確なメータリング情報の集計 S3 Process Submissions Store Batches Process Hourly w/ Hadoop Clients Submitting Data Data Warehouse 毎秒数千万レ コードの利利⽤用 データ 何⼗十万も
AWS Solutions Architect ブログ
SA岩永( @riywo )です。AWSのプリンシパルSAのIan MeyersがAWS Big Data Blogに非常に興味深い投稿をしていたので翻訳しました。 特にAmazon Kinesis Streamsを既に使われている方は、Amazon Kinesis Streams to Amazon Kinesis Firehose Forwarderを使うだけでそのストリームをAmazon S3に保管したりAmazon Redshiftにロードする流れがサーバレスに構築できるので強くオススメできます。 使ってみて疑問質問等ありましたら、遠慮無く私までご連絡下さい(日本語で大丈夫です！)。 Amazon Kinesis Streamsへのデータ送信の必要があるアプリケーションの開発をシンプルにするために、昨年我々はAmazon Kinesis Producer Library (KPL)
Amazon KinesisとApache Kafkaの類似点／相違点まとめ - 夢とガラクタの集積場
こんにちは。 Amazon Kinesisについて調べたり実装してみたりしたため、 モデルがよく似たApache Kafkaとの類似点や相違点が気になってきました。 というわけで、実際比べてみた結果どうだったのかをまとめてみます。 1.2つのプロダクトの類似点 Amazon KinesisとApache Kafkaの大きな類似点として、以下があります。 1.メッセージを取得したタイミングで削除するのではなく、一定期間経過後に削除するモデルを取っている Kestrel、RabbitMQといったプロダクトはメッセージを取得され、利用側から応答が返った段階で削除するモデルを取っている。 「メッセージキュー」と言いあらわした場合、削除するモデルの方がイメージ的には近い？ Amazon Kinesis、Apache Kafkaはメッセージの提供を行うのみで削除は行わない。一定時間経過後に削除している
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS Lambda
Amazon Kinesis Analytics によるストリーミングデータのリアルタイム分析
秒間数万のログをいい感じにするアーキテクチャ