Athenaでパーティション数が増えた時のパフォーマンスを計測してみた。 - Qiitaはじめに 弊社では、ビッグデータ分析のためにAWSのクエリサービスAmazon Athenaをよく利用しています。 簡単に使い始めることができて、本当に便利なサービスです。 SQL on Hadoopでは、パーティション数が多くなりすぎるとクエリ実行時間が長くなるので、 「パーティションの数は多くとも1万個くらいに抑えましょう」という定石があります1。 一方、Athenaではクエリ実行時に、スキャンしたデータ量に応じて $5/1TB 課金されます。パーティションを細分化しておけば、スキャンするデータ量が削減できます。 結局のところ、パーティションをどれくらい細分化すれば良いかは、定石だけではわかりません。 さて、我々のシステムでは、次々と送られてくる発生するログをS3に配置し、EMRで日次ETL処理した結果をAthenaで分析・集計します。 クエリ対象期間は1週間固定であるにもかかわらず、
