ALBアクセスログエントリに追加された予期せぬフィールドを無視するAthenaテーブル定義 - Techfirm Cloud Architect Blog

[IMPORTANT] この記事で紹介した事象に対応したAthenaテーブル定義が、すでに公式ドキュメントで公開されています。 正式な対応方法については公式ドキュメントをの情報をご参照ください。 先日、Athenaを使ってALBのアクセスログを集計していたところ、ある日のログを境にクエリ結果が表示されなくなってしまいました。 調査の結果、S3に出力されているALBアクセスログの末尾に、テーブル定義に存在しないフィールドが追加されていることが原因で、 ログのパースがうまくいかず、クエリ結果が表示されなくなっていることがわかりました。 追加されたフィールドの値は、TID_から始まる文字列で、数日前から一部のログに追加されはじめていました。 フィールドの追加されていないログレコードは、既存のテーブルへのクエリで集計ができていたため、 すべてのログに未定義のフィールドが追加された状態になるまで気が