タグ

stream chainに関するcloudpackのブックマーク (1)

  • CDPってなんじゃ?(Kinesisでstream chain) | iret.media

    memorycraftです。 この記事は「CDP Advent Calendar 2013」12/9用の記事です。 前回、 前々回でKinesisを触りました。 資料などみていく中で、ストリームの終端になりえるものに、Redshift, S3, EMR, DynamoDBなどの他に、別のKinesisストリームもありえるということを知りました。 処理の内容が単純、高速であったり、データ数が少ない場合には1つのConsumerで事足りると思いますが、あまりにも大量であったり、処理の幾つかに非常に時間の掛かるものがあったり、複合的な処理が必要な場合には、複数のストリームを使うと全体の効率が上がる場合があるかと思います。 これは、CDPのQueuing Chainパターンの派生的なものになるかと思います。 そこで、別のKinesisストリームに流すにはどういう場合が有効かを考えてみました。 ■S

    CDPってなんじゃ?(Kinesisでstream chain) | iret.media
  • 1