Amazon Athena ユースケースで学ぶデータ分析環境のCTASクエリ活用 | DevelopersIO
CTASクエリをSQLで作成するとより詳細なオプション指定が可能であり、コードの変更管理という観点でも有用です。今回は前回書ききれなかった、データ分析環境で使うCTASクエリでSQLで作成する様々なユースケースについてご紹介します。さらに実用性がどうかを確認するため、約24.6GBファイル(GZIP)をParquetに変換するヘビーな検証実施しました。 はじめに 先日はダイアログベースでCTAS（CREATE TABLE AS）クエリを自動生成して、テーブル作成する方法をご紹介しました。CTASクエリをSQLで作成するとより詳細なオプション指定が可能であり、コードの変更管理という観点でも有用です。今回は前回書ききれなかった、データ分析環境で使うCTASクエリでSQLで作成する様々なユースケースについてご紹介します。さらに実用性がどうかを確認するため、約24.6GBファイル(GZIP)をPa
Amazon Athena のPartitioningとBucketingによるパフォーマンス戦略 ｜ DevelopersIO
はじめに 先日ご紹介したAmazon AthenaのCTASサポートで、出力ファイルのBucketingとPartitioningに対応しました。BucketingとPartitioningは、相反するものではなく、必要に応じて組み合わせることでパフォーマンスの改善が期待できます。本日はBucketingとPartitioningの具体的なユースケースとパフォーマンス戦略について解説します。 Amazon Athena が待望のCTAS（CREATE TABLE AS）をサポートしました！ PartitioningとBucketingの解説 Partitioningとは Partitioningとは、データを指定したキーごとにファイルにまとめてグループ化します。指定したキーのことをパーティションキーと呼びます。一般的なDBのパーティショニングと概念は一緒ですが、Hiveのパーティショニング
Amazon Athena のクエリ結果を SPICE にインポートして、 QuickSight で可視化する ｜ DevelopersIO
こんにちは、藤本です。 先日、QuickSight のデータセットに Amazon Athena の対応が追加されました。弊社ブログでもせーのが紹介しました。 Amazon QuickSight adds support for Amazon Athena 【新機能】Amazon QuickSightがAmazon Athenaをサポート！ この機能を使って、昨日、ELB のアクセスログをいくつかの視点から可視化して、解析した時の知見です。 Amazon Athena と QuickSight の連携 まず、前提として、ELB のアクセスログのような非構造化データを QuickSight で可視化したい場合、一度、構造化データにした上で、QuickSight のデータセットに取り込む必要があります。そこで AWS re:Invent 2016 でリリースされた Amazon Athena
新機能 AWSCLIから Amazon Athena のクエリを実行する ｜ DevelopersIO
昨日、以前から要望の多かった AWSCLI から Amazon Athena のクエリ実行する機能がリリースされましたので、早速試してみました。 Amazon Athena adds API/CLI, AWS SDK support, and audit logging with AWS CloudTrail 今回のリリースでは、AWSCLIの他に Java, .NET, Node.js, PHP, Python, Ruby, Go, 及び C++ で利用可能な AWS SDK を使用して、REST API 経由で Amazon Athena からもクエリを実行できるようになりました。詳細については、APIリファレンスおよびCLIガイドを参照してください。 サポートされた機能 ペタバイトクラスのクエリ実行も想定した Amazon Athena なので、クエリ実行は、「クエリの非同期実行〜ク
Glueの使い方的な⑤(パーティション分割してるcsvデータをパーティション分割したparquetに変換) - Qiita
パーティション分割csv->パーティション分割parquet ジョブの内容 ※"Glueの使い方①(GUIでジョブ実行)"(以後①とだけ書きます)と同様のcsvデータを使います "パーティション分割されたcsvデータを同じパーティションで別の場所にparquetで出力する" ジョブ名 se2_job4 クローラー名 se2_in1 se2_out3 全体の流れ 前準備 ジョブ作成と修正 ジョブ実行と確認 出力データのクローラー作成、実行、Athenaで確認 別のカラムでパーティション分割 ※①のGUIで作成したPySparｋスクリプトに最小限の変更を入れる形で進めます 前準備 ソースデータ(19件) 内容としては①と同じデータで、year,month,day,hourのパーティションごとに分けたcsvファイルを配置します。 year,month,day,hourのカラムは削除しています。
Amazon Kinesis Firehose, Amazon Athena, Amazon QuickSightを用いたVPCフローログの分析 | Amazon Web Services
Amazon Web Services ブログ Amazon Kinesis Firehose, Amazon Athena, Amazon QuickSightを用いたVPCフローログの分析 多くの業務や運用において、頻繁に更新される大規模なデータを分析することが求められるようになっています。例えばログ分析においては、振る舞いのパターンを認識したり、アプリケーションのフロー分析をしたり、障害調査をしたりするために大量のログの可視化が必要とされます。 VPCフローログはAmazon VPCサービス内のVPCに属するネットワークインターフェースを行き来するIPトラフィック情報をキャプチャします。このログはVPC内部に潜む脅威やリスクを認識したり、ネットワークのトラフィック・パターンを調査するのに役立ちます。フローログはAmazon CloudWatchログに格納されます。いったんフローログを
Kinesis Firehose & s3 & Athenaでビッグデータ処理！ - Qiita
背景 ユーザーから送られてきた大量の位置情報ログをpostgresqlに保存するのがつらくなってきたのでs3に投げて処分するようにしたい。 けれどもfluentdを入れたaws-ec2をログアグリゲータにしてスケールさせるのは面倒。 けれども、実証実験や営業資料の作成のニーズが多いためs3に投げたログは引き続きRDBMSのような何かで気軽に検索＆集計できるようにしたい。 構成 以下のように、サービスから投げたログをKinesisFirehoseが受け取ってs3に保存し、Athenaで検索するようにしました。 実装とハマりどころ KinesisFirehose ログ処理に特化したサービスで、流し込んだデータを塊にし圧縮してredshift、s3、elastic searchのいずれかに投げることができる。特徴は負荷に応じた同時実行数やインスタンス数の上限等を調整する必要がなく、使用者がスケー
Amazon Athenaのパーティションを理解する #reinvent | DevelopersIO
コンニチハ、千葉です。Amazon Athenaを利用する上で重要になってくるパーティションについて書きたいと思います。 パーティションの重要性 Athenaでパーティションを指定することで、各クエリで特定の領域に対するスキャンを実行できるようになります。例えば、S3上のデータがs3://applog/YYYY/MM/DD/HHのような形でS3へ保存するとします。 パーティションを指定することで、検索時に特定の日付配下のデータだけスキャンすることができるので、パフォーマンスが向上します。また、スキャンするデータ量も減るため、コストも削減できます。 パーティションを設定する パーティションを設定するには、テーブル作成時にPARTITIONED BYを指定して分割するキーを指定します。パーティションを追加する場合、以下の2つのシナリオがあります。 S3上に格納されているデータが既にHiveフォ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
