エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
AWS IoTからS3にHive形式でデータを格納してAthenaで効率よく検索する - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
AWS IoTからS3にHive形式でデータを格納してAthenaで効率よく検索する - Qiita
要約 AWS IoTで受信したデータをS3にHive形式として保存すると、AthenaでのPartitionの作成が容易で検索... 要約 AWS IoTで受信したデータをS3にHive形式として保存すると、AthenaでのPartitionの作成が容易で検索性能向上や費用の削減に効果的。IoTデバイス側で最初からHive形式でトピックを指定しておけばS3へのHive形式での格納が容易。 目的 複数デバイス、複数センサから収集したデータをAthenaで検索したい。 データ量が多くなることが想定されるので、検索性能を上げつつつも費用を抑えたい。もちろん検索クエリが簡易であることも重要。 データを吸い出してから検索するまでの仕組みを簡素化してMVPを素早く実現したい。 構成 IoTデバイス: IoTデバイスは複数あり、各デバイスに搭載された各種センサのデータを収集することを想定する。データのアップロードはAWS IoT Device SDKを用いてAWS IoT CoreのエンドポイントへPublishする。ここで指定するト