QuickSightとAthenaを活用！データ分析入門 | NHN テコラス Tech Blog | AWS、機械学習、IoTなどの技術ブログ
こんにちは。データサイエンスチームのhongsです。 この記事は、DataScience Advent Calendarの11日目の記事です。 この記事では、AWS S3のデータをAthenaとQuickSightを活用して分析する方法について紹介したいと思います。 AWS上のシステム構成及びデータの流れは下記の図のようになります。 今回、紹介するAthenaはS3のデータに対して標準SQLで分析が出来るサービスです。 Athenaはサーバーレスなのでサーバーの構築や管理が不要です。 metadata管理も不要かと疑問に思うかもしれませんが、それもAthenaがやってくれます。 Athenaの詳細についてはAthena公式ページをご参照ください。 そして、QuickSightはAWSが提供しているBIサービスです。 データの可視化はもちろんアドホックな分析などで活用できます。 QuickS
Amazon Athena 新しくサポートされた OpenCSVSerDeを使ってみた | Developers.IO
待望の OpenCSVSerDeが新たにサポートされましたので早速使ってみました。OpenCSVSerDeを利用することで引用符で囲まれた列のデータの取り出しが可能になります。 OpenCSVSerDeとは 最初に「SerDe」とは、Serialize/Deserializeの略で、あらゆるデータを入出力できる形式に変換するためのインタフェースを提供します。そのインタフェースを継承したクラスの一つがOpenCSVSerDeです。 例えば、以下のようなCSVファイルあった場合、LazySimpleSerDeでは、列データに引用符が含まれてしまいます。 "a1","a2","a3","a4" "1","2","abc","def" "a","a1","abc3","ab4" そこで登場したのが、本日ご紹介するOpenCSVSerDeです。OpenCSVSerDeは、CSVファイルのすべての列が
AthenaでS3に置いてあるcsvファイルを取得する際に気をつけること - Qiita
CREATE EXTERNAL TABLE IF NOT EXISTS test.test ( `test1` string, `test2` string, `test3` string, `test4` string, `test5` string, `test6` string ) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde' WITH SERDEPROPERTIES ( 'separatorChar' = ',', 'quoteChar' = '\"', 'escapeChar' = '\\' ) STORED AS TEXTFILE LOCATION 's3://test/test/' TBLPROPERTIES ( 'skip.header.line.count'='1', 'has_encrypte
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
