S3 にあるダブルクォーテーション引用符の CSV データを Glue のクローラで検出し、Athena でクエリ実行する | DevelopersIO
こんにちは!! 筧( @TakaakiKakei )です。 皆さんは Athena で ダブルクォーテーション引用符の CSV データを扱う際に、うまくテーブル作成ができなかった経験はありませんか？ 先日、当該データを Athena で分析する際に少し引っかかったので、作成方法の1つを紹介したいと思います。 それでは早速やっていくっ！！ 目標 Athena で対象の CSV データをクエリした際に以下のように表示することが目標です。 実践 CSV データを用意 以下のような CSV データを用意します ファイル名：price-list.csv ファイルの中身： "id","name","price" "1"," apple","100" "2","orange","150" "3","grape","300" "4","peach","250" "5","banana","90" CSV
AWS Glue Data Quality(プレビュー)でデータ品質検査を試してみた | DevelopersIO
データアナリティクス事業本部インテグレーション部コンサルティングチーム・新納（にいの）です。 昨年末に開催されたAWS re:Inventにて、データ品質の検査を可能にする新機能AWS Glue Data Qualityが発表されました。本エントリでは実際にどんなことができるのかご紹介します。 なお、本機能は2023年1月現在のパブリックプレビュー段階のものであり、GA(General Availability:一般利用可能)なステータスとなった際には仕様が変更されている可能性があることをご留意ください。 AWS Glue Data Qualityとは ユーザーが定義したルールに従って、データの品質検査を実施できる機能です。AWS Glue Studioではビジュアルエディタから「Evaluate Data Quality」ノードを追加し、DQDL（Data Quality Definit
[新機能] AWS Glue Visual ETL がネイティブ Amazon Redshift 機能をサポートしたので試してみました！ | DevelopersIO
[新機能] AWS Glue Visual ETL がネイティブ Amazon Redshift 機能をサポートしたので試してみました！ データアナリティクス事業本部のコンサルティングチームの石川です。AWS Glue Visual ETL がネイティブ Amazon Redshift 機能をサポートってなんだろう？、と最初思ったのですが、re:Invent2022で発表されたAmazon Redshift integration for Apache Sparkのことでした。当時、すぐに試したのですがうまくできなかったので自分にとってはリベンジブログとなります。 新しいネイティブAmazon Redshift機能とは 冒頭でも触れましたが、re:Invent2022で発表されたAmazon Redshift integration for Apache Sparkのことです。よりGlue
AWS Glue DataBrew 基本用語解説と入門チュートリアル実践まとめ | DevelopersIO
先日、AWS Glueの新機能としてリリースされた「AWS Glue DataBrew」。 「コードを書かずに”データ前処理”を作成・実行可能」な機能、という触れ込みでしたが、ドキュメントには一連の操作や機能を確認出来る「チュートリアル」も用意されています。 Getting started with AWS Glue DataBrew - AWS Glue DataBrew そこで当エントリでは、公式ドキュメントで紹介されているチュートリアルを実践していく上で必要となる用語の理解、及びチュートリアルの実践内容について紹介していきたいと思います。(※なお、チュートリアル本編を試してみたところ、画像キャプチャと情報量が半端無いボリュームになってしまったので、チュートリアル実践内容については章毎にエントリを分けて展開しています。ご了承ください) 目次 AWS Glue DataBrewの基本概念
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
20分で大体わかる！ AWS Glue Data Qualityによる データ品質検査
