Glue Data Catalogの元データであるS3上のファイルを1つに集約する方法 - Qiita

やりたいこと この図のように、S3上のTableAというフォルダ配下にyear=xxxxというHive形式のパーティションパスが存在し、それが既にカタログ化されています。 そのパーティションパス配下にある複数のファイルを、1つのファイルに集約したい状況です。 集約したい理由 このデータカタログを読み取る際の性能のためです。 GlueでデータをS3上に出力すると、基本的には複数のファイルに分割されて出力されます。これは、Sparkが分散処理しているためです。 もし小さいサイズのデータを複数のファイルに分割して出力した場合、1つ1つのファイルサイズは非常に小さくなってしまいます。 Athenaでデータを読み込む際のTipsの「4.ファイルサイズを最適化する」に記載の通り、ファイルサイズが非常に小さい場合は読み取りの性能が下がってしまいます。 ただしファイルサイズが非常に小さい場合、特に 128