AWS Kinesis Stream を大規模データで検証してわかったことの事例紹介
10分間で数億件を超えるIoT関連のデータをストリーム処理するためのPoC（概念実証）をする機会がありました。そこで経験をしてハマったことなど一部事例として紹介します。 検証の概要 まずは、何のために検証しようとしたかというと... IoT機器からKinesis Streamを通して大量のメッセージを受け取り、分散処理で関連付け処理を検証します。 実証検証の目的としては アーキテクチャ構成の妥当性を検証し コスト軽減のポイントを把握 運用に向けた課題を洗い出す としました。 データと要件の特性 今回の検証用データは自前で生成し投入する必要があり、結構なデータ量となります。 トラフィック量 およそ数十万件/秒（数億件/10分） 時間帯によってバースト（スパイク）が存在する メッセージの関連付け処理を行うが、いつ終点メッセージが届くかわからない。 数分後には処理結果を利用したいのでバッチでは実
【AWS Mobile SDK for iOS】AWSサービスクライアントの初期化と取得方法について調べたこと - Qiita
はじめに AWS Mobile SDKを使えば、S3やDynamoDBといったAWSサービスをアプリで直接利用できるようになります。これはとても便利なことなのですが、実際にコーディングする時、オンラインのドキュメントだけでは使い方がなかなか分かりにくかったので、ソースコードを読んで理解を深めた話です。 この記事ではサービスクライアントの初期化について書いています。 なお、AWS Mobile SDK for iOSのバージョンはv2.4.14で動作確認をしています。 各AWSサービスのサービスクライアントの初期化と取得には、いくつかの方法がありますが、基本的にはAWSServiceConfigurationとサービス固有のコンフィギュレーションをセットして利用します。 例えば、DynamoDBを操作するAWSDynamoDBObjectMapperならばサービス固有のコンフィギュレーション
Dynamic DynamoDB 設定値の日本語訳 - プレイヤーズ・ハイ
前回のエントリー Dynamic DynamoDB のインストールと使用 - 限りなくクラウドに近いオンプレミス に関連して，Dynamic DynamoDB のサンプルコンフィグ Example configuration files — Dynamic DynamoDB 1.13.0 documentation に登場する設定値の中からいくつかピックアップして日本語訳をつけてみたいと思います。 Global configuration Section name: [global] 設定値 タイプ 日本語訳 circuit-breaker-url 文字列 この URL が 200 OK を返し続ける限り Dynamic DynamoDB は動作する。 circuit-breaker-timeout 整数 circuit-breaker-url のタイムアウト値。単位はミリセカンド Log
Amazon DynamoDB まとめ - Qiita
最近触り始めたので調べたことをまとめてみる・・・！(長くなった！) DynamoDBとは ・AWSの提供する完全マネージドNoSQL DBサービス →KVS的に使うもよし →インデックスを張って軽いクエリも可能 →最近ではJSONドキュメントもサポートされ、ドキュメントストアとしても使えるとのこと ※まだ自分で試してないのでなんともですが、JSONドキュメントの中を検索とかできるのかな… ・ストレージ無限 ・パフォーマンスも無限 →ただしある一定以上に設定する場合はAmazon側に上限緩和申請が必要 →とはいえ項目サイズを1KBとした場合、10000req/sec以上までは申請不要なので通常は十分 ・ユーザが気にするのはスループット値の設定のみ →ReadもWriteも設定値を増やすのは１日何回でも可能だが、減らすのは１日４回までなので注意 →ReadとWriteの設定値減を同時に１リクエ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
メモ/DynamoDBのCLIでのキャパシティ調整 - Qiita
