VPCフローログをApache Parquet形式でS3に送信する場合の料金を勘違いしていたので調べ直した | DevelopersIO

こんにちは！コンサル部のinomaso(@inomasosan)です。 以前、以下のブログでAmazon VPCフローログをApache Parquet形式で保存した方がコストが安くなるというブログを書きました。その後、みなみからの指摘で間違っていることに気がついたので、再度調べ直しました。 最初にまとめ VPCフローログをS3に保管する料金はApache Parquet形式の方が高くなってしまう Athenaによるクエリの料金はApache Parquet形式の方が安く、クエリも高速になる VPCフローログをどのように運用するかで、ログファイル形式を決めたほうがよい VPCフローログのログファイル形式のおさらい 2023/2/13時点で、VPCフローログをS3に送信する場合、ログファイル形式はデフォルトでテキストとなっており、Apache Parquetに変更することが可能となっておりま

[tmatsuu]

Parquet形式で保存するとS3の保管料金は割高になるが、Athenaによるクエリーは安価になり高速になる。なるほど。Athenaで解析する頻度と速度を元に検討したいところだ。