Kinesis Producer Library(KPL)とfluentdとLambdaを連携してKinesisのスループットを上げる | DevelopersIO
Kinesis Producer Library(KPL)とfluentdとLambdaを連携してKinesisのスループットを上げる 2016/06/03(金)のAWS Summit Tokyo 2016でクックパッド株式会社の星さんが「秒間数万のログをいい感じにするアーキテクチャ」という発表をされました。 クックパッドのログ収集基盤が Fluentd や Amazon Kinesis Streams や Redshift を活用していい感じするアーキテクチャが参考になった方は非常に多いと思います(あの規模のサービスに関わるかはともかく)。 発表の中でKinesis Producer Library(以下 KPL)を使ってログ数多すぎ問題を解決したことが語られていました。 個人的には、Kinesis Streams のシャード数を増やせばどうにかなるレベルのサービスしか担当したことがない
DynamoDB Streams の変更データキャプチャ - Amazon DynamoDB
DynamoDB Streams は、DynamoDB テーブル内の項目レベルの変更に関するシーケンスを時間順にキャプチャし、その情報を最大 24 時間ログに保存します。アプリケーションは、このログにアクセスし、データ項目の変更前および変更後の内容をほぼリアルタイムで参照できます。 保管時の暗号化では、DynamoDB Streams のデータが暗号化されます。詳細については、「保管時の DynamoDB 暗号化」を参照してください。 DynamoDB Streams は、DynamoDB テーブル内の項目に加えられた変更に関する情報の順序付けされた情報です。テーブルでストリーミングを有効にすると、DynamoDB はテーブル内のデータ項目に加えられた各変更に関する情報をキャプチャします。 アプリケーションがテーブル内の項目を作成、更新、または削除するたびに、DynamoDB Stream
よくある質問 - Aamzon Kinesis Data Streams | AWS
Q: Amazon Kinesis Data Streams とは何ですか? Amazon Kinesis データストリームを使用すると、特定のニーズに合わせてストリーミングデータを処理または分析するカスタムアプリケーションを構築できます。クリックストリーム、アプリケーションログ、ソーシャルメディアなどのさまざまなタイプのデータを何十万ものソースから Kinesis データストリームに追加できます。数秒後には、アプリケーションでストリームからデータを読み取って処理できます。 Q: Amazon Kinesis データストリームでは何を管理しますか? Amazon Kinesis データストリームでは、データスループットのレベルでデータをストリーミングするために必要なインフラストラクチャ、ストレージ、ネットワーク、設定を管理します。データストリームのためのハードウェア、ソフトウェア、その他の
料金 - Amazon Kinesis Data Streams | AWS
オンデマンド容量モードでは、データストリームに書き込まれるデータの GB、およびデータストリームから読み取られるデータの GB ごとに課金されます。アプリケーションによる実行が想定される読み取りおよび書き込みスループットを指定する必要はありません。Kinesis Data Streams は、ワークロードの増減に応じて即座に対応します。 オンデマンドモードでは、料金は取り込み、および取得したデータの量に基づき、アカウント内の各データストリームの 1 時間あたりの料金とともに請求されます。拡張データ保持 (最初の 24 時間を超えて最初の 7 日以内)、長期データ保持 (7 日を超えて最長 1 年)、および拡張ファンアウトといったオプション機能には追加料金がかかります。 また、ご利用のアカウントでオンデマンド容量モードで動作する各ストリームについて時間単位の料金が課金されます。 オンデマンド
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
