Amazon Kinesis Streamsのサービス制限について | DevelopersIO
Amazon Kinesis Streamsを構築・運用すると、思いもかけないサービス制限に遭遇することがあります。 本日は2016年05月時点でのサービス制限についてご紹介します。 シャード数上限 東京リージョンの場合、リージョンあたりのシャード数のデフォルト上限値は25です。 この値はストリームごとのシャード数ではなく、リージョンごとのシャード総数です。 例えば、シャード数上限25のリージョンで、シャード数10のストリームを1個作成している場合、新規ストリームのシャード数上限は25−10＝15です。 また、ACTIVE(=データを新規に受け付ける)シャードだけが上限対象としてカウントされます。 例えば、シャード数10のストリームをシャード分割してシャード数20にする場合、 ACTIVE シャード : 20 CLOSED シャード : 10 となりACTIVE/CLOSEDなシャード総数
AWS Kinesis Streams + Spark Streamingでストリーム処理を試してみた - Qiita
はじめに 今後はストリーム処理の時代がくるはずです。たぶん。そんな気がします。 というわけで、適当なデータ発生を発生させて、Kinesis Streams＋Spark streamingでストリーム処理を体験してみました。 Spark 2.0.0 (EMRを利用） Kinesis Streamsとは 昔は単にKinesisと呼ばれていましたが、後からKinesis FirehoseとKinesis Analyticsが追加されたため、Kinesis３兄弟のうちの１人と呼ばれています。 大規模でスケール可能で、メッセージが一定時間保存されるPubSub型キューのことを指します。 つまり、データを発生させるProducer相当と、後段の処理であるConsumer相当を作成する必要があります。 Spark Streamingとは 大規模データ分散処理フレームワークのApache sparkのライ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
