Amazon AthenaでCTASが失敗したときの対応方法 - Qiita

概要 Amazon AthenaにおいてCTASでデータ作成をしているのですが、CTASが失敗したときに何が起き得るか、どうすればよいか、というトラブルシュートの話を整頓しました。 CTASとは Athenaで2018年に利用できるようになった仕組みです。 Parquet形式への変換を、パーティションも考慮し簡単に作成することができます。 参考記事：Amazon Athena が待望のCTAS（CREATE TABLE AS）をサポートしました！ どういう運用をしているか パーティションが100個を超えるテーブルのデータ作成 CTASにおけるパーティションは100個が上限なので、何回かに分けてCTASをする必要がある 今回のケースにおいては、こうしたデータ作成を月に1回行っています。 エラーが起きるとどういう状態になるか 2通りに分かれます エラーの種類自体は様々ですが、エラーメッセージに