Amazon Athenaと、AWS Glueと、Glueクローラーと、パーティーションについてのざっくりした理解 - LCL Engineers' Blog

あけましておめでとうございます。インフラエンジニアの小林です。 Amazon Athenaとその周りの要素技術。ログの分析などで使用していながらもキチンと理解していなかったので、整理しました。 皆様のご理解の一助になればと思います。 Amazon Athena とは？ SQL を使用して データカタログ に登録された メタデータ を分析できるサービス。 データカタログとは？ 組織（会社など）にあるさまざまなデータを分析可能な状態 (メタデータ) として整理したもの。 データカタログには、以下のような情報が含まれる。 データのスキーマ情報（列名、データ型など）。 データの保存場所（S3 のパスなど）。 パーティション情報。 メタデータとは？ もともとのデータ（データソース）を元に、分析のために必要な情報を抽出・整理したもの。 Athena のクエリはメタデータを使って検索を行うが、実際のデー