ダブルクォーテーション引用符が使われているCSVデータをGlueで読み込ませる(Athena未使用) - カピバラ好きなエンジニアブログ
以下の記事を参考にCSVファイルのデータをGlueで読み込ませようとしてましたが、Athenaを利用しない方法が調べても出てこなかったので試してみました。 dev.classmethod.jp 目次 目次 実施作業 準備 Glue Crawler作成 Glue Crawler実行 Glue DataCatalog・クエリ確認 Glue Table修正 Glue Crawler実行・クエリ確認 感想及び所感 実施作業 準備 テストデータとして以下のCSVファイルを準備しました。 "番号","名前","場所" "1","田中太郎","日本/東京" "2","佐藤次郎","日本/大阪"CSVファイルはGlueからクロールさせるS3パス内に格納しておきます。 Glue Crawler作成 対象のS3パスをクロールするGlue Crawlerを作成します。 Crawler名 データソース設定 IAM
S3 にあるダブルクォーテーション引用符の CSV データを Glue のクローラで検出し、Athena でクエリ実行する | DevelopersIO
こんにちは!! 筧( @TakaakiKakei )です。 皆さんは Athena で ダブルクォーテーション引用符の CSV データを扱う際に、うまくテーブル作成ができなかった経験はありませんか？ 先日、当該データを Athena で分析する際に少し引っかかったので、作成方法の1つを紹介したいと思います。 それでは早速やっていくっ！！ 目標 Athena で対象の CSV データをクエリした際に以下のように表示することが目標です。 実践 CSV データを用意 以下のような CSV データを用意します ファイル名：price-list.csv ファイルの中身： "id","name","price" "1"," apple","100" "2","orange","150" "3","grape","300" "4","peach","250" "5","banana","90" CSV
CSV を処理するための OpenCSVSerDe - Amazon Athena
CSV データ用の Athena テーブルを作成する場合は、データに含まれる値のタイプに基づいて、使用する SerDe を選択します。 データに二重引用符 (") で囲まれた値が含まれる場合は、Athena で OpenCSV SerDe を使用して値を逆シリアル化できます。データに二重引用符 (") で囲まれた値が含まれていない場合は、SerDe の指定を省略できます。この場合、Athena はデフォルトの LazySimpleSerDe を使用します。詳細については、CSV、TSV、およびカスタム区切りファイルの LazySimpleSerDe を参照してください。 データに UNIX の TIMESTAMP 数値 (1579059880000 など) がある場合は、OpenCSVSerDe を使用します。データが java.sql.Timestamp 形式を使用する場合は、LazyS
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ダブルクオート引用符の CSV を Glue クローラでテーブル作成時に認識させる - ablog
