Partition ProjectionでAthenaのコストを80%削減した話 - Qiita

本記事はAWS Advent Calendar 2021、カレンダー2の12日目の記事です。 知見（この記事で書いてあること） Athenaのデータ集計のランニングコストを下げる方法 日付パーティションが効果がない集計を行うときの頑張り Partition Projectionの適用例 AthenaをMSCK REPAIR TABLEしながら利用されている方、今後Athenaを利用する可能性のある方にお得な内容となっております。 背景 およそ1年前くらいからAthenaの活用を進めています。 とてもありがたいことに、利用がとても増えまして、、、、、、金額も増えてきました。 また、利用が増えるものについては速度も速いほうが良いですよね。 Athenaのパフォーマンス改善といえば公式の Amazon Athena のパフォーマンスチューニング Tips トップ 10 が思い浮かびます。何回か熟

[sh19910711]

2021, Redshift UNLOAD + AthenaのPartition Projection / "以前のパーティション構成は「100個ずつ、頑張って10回くらいCTASで1000パーティションに分ける」といった方法をとっていました"