CDPってなんじゃ？（Kinesisでstream chain） | iret.media
memorycraftです。 この記事は「CDP Advent Calendar 2013」12/9用の記事です。 前回、 前々回でKinesisを触りました。 資料などみていく中で、ストリームの終端になりえるものに、Redshift, S3, EMR, DynamoDBなどの他に、別のKinesisストリームもありえるということを知りました。 処理の内容が単純、高速であったり、データ数が少ない場合には１つのConsumerで事足りると思いますが、あまりにも大量であったり、処理の幾つかに非常に時間の掛かるものがあったり、複合的な処理が必要な場合には、複数のストリームを使うと全体の効率が上がる場合があるかと思います。 これは、CDPのQueuing Chainパターンの派生的なものになるかと思います。 そこで、別のKinesisストリームに流すにはどういう場合が有効かを考えてみました。 ■S
Kinesisってなんじゃ？（Java実装編） | iret.media
memorycraftです。 前回からの続きです。 このストリームをつかってイベント処理を行うアプリケーションを実装します。 Kinesisを扱うには、現時点でJavaのSDKとKinesisのクライアントライブラリ(KCL)が利用可能です。 今回のサンプルとなるシステムですが、以下のように定義してみました。 Producerはユーザーの出発地点（0, 0）からの到達位置（x, y）を日時ごとにJSONとしてストリームに入力していきます。 ConsumerAではストリームからデータを受け取り、ログとしてS3のバケットに保存していきます。 ConsumerBでは同じくストリームからデータを受け取り、ユーザーごとの総移動距離をDynamoDBにインクリメント保存していきます。 これを、限定公開用にKinesis対応されたJavaのSDKとKinesisのクライアントライブラリ(KCL)を使って
Kinesisってなんじゃ？（ストリーム作成編） | iret.media
memorycraftです。 AWSの新サービスKinesisが限定プレビュー公開されています。 私のところでも見れるようになったので、触ってみました。 ■Kinesisとは Kinesisは大量なデータのリアルタイムイベント処理をサポートするサービスです。 ユーザーは「ストリーム」を作り、そこにデータを流し、受け取り、処理を行います。 データを流す、受け取る、処理を行う、という部分はユーザーがプログラムで実装します。 Kinesisに接続するプログラムには大きく分けてProducerとConsumerという２つの立場があります。 Producerはストリームにデータを入力します。Producerは場合によってWEBまたはAPPサーバーのようなエンドポイントであったり、既存データのフェッチプログラムとして実装されます。 Consumerはストリームからデータを受け取り処理します。Consu
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
