10分間で数億件を超えるIoT関連のデータをストリーム処理するためのPoC(概念実証)をする機会がありました。そこで経験をしてハマったことなど一部事例として紹介します。 検証の概要 まずは、何のために検証しようとしたかというと... IoT機器からKinesis Streamを通して大量のメッセージを受け取り、分散処理で関連付け処理を検証します。 実証検証の目的としては アーキテクチャ構成の妥当性を検証し コスト軽減のポイントを把握 運用に向けた課題を洗い出す としました。 データと要件の特性 今回の検証用データは自前で生成し投入する必要があり、結構なデータ量となります。 トラフィック量 およそ数十万件/秒(数億件/10分) 時間帯によってバースト(スパイク)が存在する メッセージの関連付け処理を行うが、いつ終点メッセージが届くかわからない。 数分後には処理結果を利用したいのでバッチでは実
![AWS Kinesis Stream を大規模データで検証してわかったことの事例紹介](https://cdn-ak-scissors.b.st-hatena.com/image/square/8106d523bdf2cbb4c209a4516cb31d7dab64ee8e/height=288;version=1;width=512/http%3A%2F%2Ftech.atware.co.jp%2Fcontent%2Fimages%2F2017%2F08%2FIoT-3.png)