f290ed5d4e305508dc63
注記： re:Invent2019でLambda streamアクセス、エラーハンドルの仕方にupdateが入っております。 起動についてはこちら、エラーハンドルはこちらなど、update情報が落ち着いた後、こちらの記事をupdateしようと思いますので、updateが入っている前提で読んでいただければと思います。 はじめに AWS Lambdaの必要な数を設計するときに、同期/非同期/streamの呼び出しパターンがあるのは、ご存知でしょうか？公式情報はこちら 同期型はイベント駆動型というと理解が早いでしょうか？ API Gateway/S3/CloudTrailをトリガーにした場合の呼び出し方法です。 stream型データ= kinesis streams/DynamoDB Streamsをトリガーにした場合です。 同期型の場合、利用量が増えてくるとAWS Lambdaの同時起動数を増
Spark StreamingからAmazon Kinesis Analyticsへ移行する話 - Gunosyデータ分析ブログ
はじめに こんにちは、データ分析部の森本です。主な業務は記事配信アルゴリズムの改善とログ基盤の整備です。 Gunosyでは、ユーザーへより良い記事を提供するためにアクセスログをストリーム処理し、集計結果を記事配信アルゴリズムに活用しています。 ストリームログ基盤にはSpark Streamingを利用していますが、現在Kinesis Analyticsへ移行中です。 この記事ではKinesis Analyticsへ移行する理由や運用上のTips等についてお話します。 Spark Streamingを利用したストリームログ基盤構成 現在のストリームログ基盤はSpark Streamingで集計を行い、結果をRDSに保存しています。 なぜSpark StreamingからKinesis Analyticsへ移行するのか サーバーコストと運用コストの削減を目的としています。 サーバーコストについ
Amazon Kinesis StreamsとAmazon Kinesis Firehoseは何が違うのか | DevelopersIO
こんにちは、せーのです。 先日のRe:InventでKinesisの体系が変わりまして、「Kinesis Family」「Kinesis三兄弟」なんて言われるようになりました。 今まではKinesisの一機能として「Kinesis Streams」というのがあったのですが、それがメインのサービスとして昇華し、新たに「Kinesis Firehose」「Kinesis Analytics」が増えて現在の形になりました。 今回はそのうち混同しやすい「Kinesis Firehose」と「Kinesis Streams」の使い分けについてご紹介したいと思います。 やろうと思えば両方できる Kinesis Streamsは次々と送られる大量のデータをリアルタイムに収集、次のサービスに配送するためのサービスです。一方Kinesis Firehoseは同じく次々と送られる大量のデータをRedShift
AWS Solutions Architect ブログ
ソリューションアーキテクトの今井です。この記事はAWSのビッグデータブログにポストされたProcessing Amazon Kinesis Stream Data Using Amazon KCL for Node.jsという記事の翻訳で、Amazon KinesisのConsumerアプリケーションをNode.jsで実装するためのAmazon KCL for Node.jsについての紹介です。 個人的にJavaScriptが大好きなので、ConsumerアプリケーションがJavaScriptで簡単に実装できるようになるというのは非常に嬉しい限りです！ このポストではAmazon Kinesis Client Library(KCL) for Node.jsについて紹介します。Node.jsについてはご存知の方も多いでしょうが、ノンブロッキングIOやイベント駆動型、動作が軽くて効率的という
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kinesis Firehose の記事一覧 | DevelopersIO