How to use AWS Lambda in Document Processing Pipeline 本文はこちら https://gist.github.com/suzuken/6033c20a3a3c9e0f5354b88f405240f5
11. Data Sources App.4 [Machine Learning] AWSEndpoint App.1 [Aggregate & De-Duplicate] Data Sources Data Sources Data Sources App.2 [Metric Extraction] S3 DynamoDB Redshift App.3 [Sliding Window Analysis] Data Sources Availability Zone Shard 1 Shard 2 Shard N Availability Zone Availability Zone Amazon Kinesis Managed Service for Real-Time Processing of Big Data http://www.slideshare.net/AmazonWebS
前回からの続きです。 このストリームをつかってイベント処理を行うアプリケーションを実装します。 Kinesisを扱うには、現時点でJavaのSDKとKinesisのクライアントライブラリ(KCL)が利用可能です。 今回のサンプルとなるシステムですが、以下のように定義してみました。 Producerはユーザーの出発地点(0, 0)からの到達位置(x, y)を日時ごとにJSONとしてストリームに入力していきます。 ConsumerAではストリームからデータを受け取り、ログとしてS3のバケットに保存していきます。 ConsumerBでは同じくストリームからデータを受け取り、ユーザーごとの総移動距離をDynamoDBにインクリメント保存していきます。 これを、限定公開用にKinesis対応されたJavaのSDKとKinesisのクライアントライブラリ(KCL)を使って実装してみます。SDKにはサン
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く