Athena で改行を含む CSV を扱いたい場合は Glue ジョブで Parquet に変換する - ablog

データの中身に改行を含む CSV を Athena でクエリすると正しく扱えなかったが、Glue ジョブで CSV を Parquet に変換すると改行を含むデータを扱うことができた。おそらく OpenCSVSerDe は改行に対応していないが、Parquet SerDe は改行に対応しているからではないかと思われる。 cr.csv を用意する。 c1,c2,c3_string 1,1,"test string" 2,2,"text string" 3,3,"string with cr" 4,4,"text string" S3 にアップロードする。 Glue のクローラで CSV をカタログに登録する。 Athena からCSV を参照すると改行で表示が崩れている。 Glue ジョブで Parquet に変換する。 import sys from awsglue.transforms