Amazon Athenaを利用してS3バケットにあるJSONファイルをParquet形式に変換するときにHIVE_TOO_MANY_OPEN_PARTITIONSというエラーが発生したので原因調査して対策を考えてみました。 Parquet形式とは なんぞ?という方は下記が参考になると思います。 カラムナフォーマットのきほん 〜データウェアハウスを支える技術〜 – Retty Tech Blog https://engineer.retty.me/entry/columnar-storage-format Amazon Athena: カラムナフォーマット『Parquet』でクエリを試してみた #reinvent | Developers.IO https://dev.classmethod.jp/cloud/aws/amazon-athena-using-parquet/ Apache
![Amazon Athenaでパーティション数が多いJSONのテーブルをParquet形式のテーブルに変換できずにハマった | iret.media](https://cdn-ak-scissors.b.st-hatena.com/image/square/6141572b7ac139ef29fb0679d08a7e1e3fbcf709/height=288;version=1;width=512/https%3A%2F%2Firet.media%2Fwp-content%2Fuploads%2F2015%2F07%2Feyecatch-aws-2.png)