はじめに Webアクセスログ(ELB)、CloudFrontのログ、CloudTrailのログは、YYYY/MM/DD形式のフォルダの下に自動的に保存されます。Amazon Athenaは、S3上のログファイルに対してテーブル定義して、クエリを実行できます。しかし、大量のログファイルを高速かつコスト効率よくクエリするにはパーティションを設定する必要があります。今回はこの煩雑なパーティション設定を自動化する方法をご紹介します。 カラム名あり(Hive互換)とカラム名なしのパーティション パーティションは、カラム名あり(Hive互換)パーティションとカラム名なしパーティションの2つに分類されます。 カラム名あり(Hive互換)パーティションは、フォルダ名がキーバリュー形式になっており、例えばyear=YYYY/month=MM/day=DD形式で保存されています。この形式はMSCK REPIR
![Amazon Athena Webアクセスログ、CloudFrontのログ、CloudTrailのログのパーティション設定を自動化する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/c2dae88f9022792145032c087b7530d3abcf941f/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2016%2F12%2Feyecatch_athena.png)