[初心者向け] Kinesis Data Streams に Lambda でデータを流す様子を理解するために図を書いた | DevelopersIO
コーヒーが好きな emi です。 Kinesis Data Streams にデータを流し込むときのデータの動きや構造を理解するために絵を描いてみました。 また、Lambda から Kinesis Data Streams に実際にデータを流し込み、挙動とデータの順番を見てみました。 Kinesis Data Streams の内部の仕組みと用語解説 見覚えのある方も多いかもしれませんが、Kinesis Data Streams のアーキテクチャは以下のようになっています。 プロデューサー プロデューサーと呼ばれる各種アプリケーションや AWS サービスから Kinesis Data Streams にデータを流し込みます。 コンシューマー Kinesis Data Streams からレコードを取得して処理します。 シャード 流れてくる一連のデータレコードを保持します。データが乗っかるベ
![[初心者向け] Kinesis Data Streams に Lambda でデータを流す様子を理解するために図を書いた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1b22e45515e901074206a3d756be13e4eb277a72/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Fkinesis-data-streams.png)
Under the hood: Scaling your Kinesis data streams | Amazon Web Services
AWS Big Data Blog Under the hood: Scaling your Kinesis data streams Real-time delivery of data and insights enables businesses to pivot quickly in response to changes in demand, user engagement, and infrastructure events, among many others. Amazon Kinesis offers a managed service that lets you focus on building your applications, rather than managing infrastructure. Scalability is provided out-of-
Kinesis Data Streams + Lambdaが詰まった時の対処法(RecoChoku Tech Night 5社合同 AWS re:Invent 2019 参加報告会 登壇資料) - でこてっくろぐ ねお
このエントリは RecoChoku Tech Night 5社合同 AWS re:Invent 2019 参加報告会 - connpass での発表内容、及びはてなエンジニア Advent Calendar 2019の20日目のブログ(若干フライングで投稿しています！)です。 AWS re:Inventのセッションの一つである SVS323-R1 - REPEAT 1 Mastering AWS Lambda streaming event sources を元ネタに、re:Invent 2019直前に出たKinesis Data Streamsの新機能の解説をします。 基本的な用語説明 Kinesis + Lambdaの活用事例 Kinesis + Lambdaのスループットが思ったように出ない時、及びその対処方法 シャードを増やすのは万能なのか？他の手はないのか？新機能のご紹介 シャー
KinesisとLambdaでつくるServerlessなログ基盤 @ AWS DevDay Tokyo 2019 [C-2]
本セッションでは、弊社にて複数サービスで導入しているAWSのマネージドサービス (Lambda、CloudWatch Logs、Kinesis Data Streams、S3、Elasticsearch Service) を活用したServerlessなログ基盤の構成について紹介する。自前でログ基盤を管理しているが管理コストなど課題を感じている人や、コンテナ活用時のロギング構成の設計に悩んでいる人をターゲットにしている。 / / 現在のログ基盤の構成に至るまでの経緯（過去に試行錯誤した10以上の構成パターン）、設計思想（保守性、高信頼性、コスト削減、拡張性）について紹介する。 / / タップル誕生やCROSSMEをはじめとした実際に運用中のサービスを事例に、サービス用件ごとに合わせたロギング構成を解説する。また、2年半の期間で様々な構成を運用をしてきた事によって得られた知見について話す。ロ
![KinesisとLambdaでつくるServerlessなログ基盤 @ AWS DevDay Tokyo 2019 [C-2]](https://cdn-ak-scissors.b.st-hatena.com/image/square/7e518a2e41301ea8958909feba50e35cd5747e8d/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2Fb79f3bc288724aa2b1685401ea774103%2Fslide_0.jpg%3F13762636)
20171019_aws_startup_tech
ユー ザー の行動ログをSQL で分析 ex: Action A から Action B までの時間を算出するSQL SELECT "operator_name", "log_date", "operatability", "total_elapsed_time" FROM (SELECT operator_name, date(created_at) AS log_date, operatability, sum(elapsed_time) AS total_elapsed_time FROM (SELECT operator_name, created_at, lag(operatability) over(partition by operator_name, date(created_at) COALESCE(date_diff('minute', lag(created_at)
AWS Kinesis Stream を大規模データで検証してわかったことの事例紹介
10分間で数億件を超えるIoT関連のデータをストリーム処理するためのPoC（概念実証）をする機会がありました。そこで経験をしてハマったことなど一部事例として紹介します。 検証の概要 まずは、何のために検証しようとしたかというと... IoT機器からKinesis Streamを通して大量のメッセージを受け取り、分散処理で関連付け処理を検証します。 実証検証の目的としては アーキテクチャ構成の妥当性を検証し コスト軽減のポイントを把握 運用に向けた課題を洗い出す としました。 データと要件の特性 今回の検証用データは自前で生成し投入する必要があり、結構なデータ量となります。 トラフィック量 およそ数十万件/秒（数億件/10分） 時間帯によってバースト（スパイク）が存在する メッセージの関連付け処理を行うが、いつ終点メッセージが届くかわからない。 数分後には処理結果を利用したいのでバッチでは実
Real-Time Processing Using AWS Lambda
Lambda allows real-time event processing from various event sources like S3, DynamoDB streams, and Kinesis streams. Events can either be pushed to Lambda through asynchronous or synchronous invokes, or pulled from streams using Lambda's polling logic. Lambda processes streams efficiently by sub-batching records into invocations and processing shards concurrently with retries. Thomson Reuters used
スケーラブル tail -f | grep on AWS - KAYAC engineers' blog
こんにちは。組長こと @fujiwara (id:sfujiwara) です。 早速ですが皆さん、ログは見ていますか? 当然見ていますよね。tail -f で追いかけるとか大好きですよね。という前提で話を進めましょう。 この記事は Tech KAYAC Advent Calendar 2016 の24日目の記事です。 TL;DR 多種多様なホストから発生するログの末尾を tail -f で追いかけたい fluentd + ローカルファイルで行うのはちょっと面倒 Amazon Kinesis + Lambda を使ってスケーラブルな仕組みを考えてみた kinesis-tailf というツールも作った 既存の仕組みと問題点 techblog.kayac.com 弊社の Lobi とソーシャルゲームでは、この記事で紹介されたような Fluentd を活用したログ集約の仕組みを整備しています。この
fluentdとKinesisで雑にログを集める - so what
aws-fluent-plugin-kinesis v0.3.0リリースされました。待望のPutRecords対応。 ただし、入力プラグインはまだマージされてません。風の噂によると近いリリースでマージされるとか、されないとか… https://github.com/awslabs/aws-fluent-plugin-kinesis/pull/10 本家にマージはされていないのですが、フォークしたリポジトリから直接インストールすれば、Kinesisの入力プラグインが使えます。 git clone https://github.com/winebarrel/aws-fluent-plugin-kinesis.git cd aws-fluent-plugin-kinesis git checkout add_in_plugin bundle install bundle exec rake in
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Streaming data using AWS Database Migration Service and Kinesis
サーバーレスアーキテクチャでリアルタイムランキングAPIを作る - Qiita
秒間数万のログをいい感じにするアーキテクチャ
Serverless で位置情報を活用する
Big DataとContainerとStream - AWSでのクラスタ構成とストリーム処理 -