Amazon Athena ユースケースで学ぶデータ分析環境のCTASクエリ活用 | DevelopersIO
CTASクエリをSQLで作成するとより詳細なオプション指定が可能であり、コードの変更管理という観点でも有用です。今回は前回書ききれなかった、データ分析環境で使うCTASクエリでSQLで作成する様々なユースケースについてご紹介します。さらに実用性がどうかを確認するため、約24.6GBファイル(GZIP)をParquetに変換するヘビーな検証実施しました。 はじめに 先日はダイアログベースでCTAS（CREATE TABLE AS）クエリを自動生成して、テーブル作成する方法をご紹介しました。CTASクエリをSQLで作成するとより詳細なオプション指定が可能であり、コードの変更管理という観点でも有用です。今回は前回書ききれなかった、データ分析環境で使うCTASクエリでSQLで作成する様々なユースケースについてご紹介します。さらに実用性がどうかを確認するため、約24.6GBファイル(GZIP)をPa
Amazon Athena のPartitioningとBucketingによるパフォーマンス戦略 ｜ DevelopersIO
はじめに 先日ご紹介したAmazon AthenaのCTASサポートで、出力ファイルのBucketingとPartitioningに対応しました。BucketingとPartitioningは、相反するものではなく、必要に応じて組み合わせることでパフォーマンスの改善が期待できます。本日はBucketingとPartitioningの具体的なユースケースとパフォーマンス戦略について解説します。 Amazon Athena が待望のCTAS（CREATE TABLE AS）をサポートしました！ PartitioningとBucketingの解説 Partitioningとは Partitioningとは、データを指定したキーごとにファイルにまとめてグループ化します。指定したキーのことをパーティションキーと呼びます。一般的なDBのパーティショニングと概念は一緒ですが、Hiveのパーティショニング
Amazon Kinesis Firehose, Amazon Athena, Amazon QuickSightを用いたVPCフローログの分析 | Amazon Web Services
Amazon Web Services ブログ Amazon Kinesis Firehose, Amazon Athena, Amazon QuickSightを用いたVPCフローログの分析 多くの業務や運用において、頻繁に更新される大規模なデータを分析することが求められるようになっています。例えばログ分析においては、振る舞いのパターンを認識したり、アプリケーションのフロー分析をしたり、障害調査をしたりするために大量のログの可視化が必要とされます。 VPCフローログはAmazon VPCサービス内のVPCに属するネットワークインターフェースを行き来するIPトラフィック情報をキャプチャします。このログはVPC内部に潜む脅威やリスクを認識したり、ネットワークのトラフィック・パターンを調査するのに役立ちます。フローログはAmazon CloudWatchログに格納されます。いったんフローログを
Kinesis Firehose & s3 & Athenaでビッグデータ処理！ - Qiita
背景 ユーザーから送られてきた大量の位置情報ログをpostgresqlに保存するのがつらくなってきたのでs3に投げて処分するようにしたい。 けれどもfluentdを入れたaws-ec2をログアグリゲータにしてスケールさせるのは面倒。 けれども、実証実験や営業資料の作成のニーズが多いためs3に投げたログは引き続きRDBMSのような何かで気軽に検索＆集計できるようにしたい。 構成 以下のように、サービスから投げたログをKinesisFirehoseが受け取ってs3に保存し、Athenaで検索するようにしました。 実装とハマりどころ KinesisFirehose ログ処理に特化したサービスで、流し込んだデータを塊にし圧縮してredshift、s3、elastic searchのいずれかに投げることができる。特徴は負荷に応じた同時実行数やインスタンス数の上限等を調整する必要がなく、使用者がスケー
td-agentでAWS S3へログアップロード - Qiita
TL;DR ① td-agentをインストール ② td-agentディレクトリ調整 ③ td-agent設定ファイル設定 準備 下記ログファイルをtd-agent経由で、AWS S3へアップロードする。 なお、apacheインストールと、AWS S3へのAMI設定が済んでいる状態とする。 操作手順 ① td-agentをインストール td-agent インストール curl -L https://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh | sh インストールバージョン確認 td-agent -v Plugin インストール td-agent-gem install fluent-plugin-s3 td-agent-gem install fluent-plugin-forest ② td-agentディレクトリ調
EC2のログをfluentdを使ってタグ情報を利用したフォルダ構成でS3にアップロードする - Qiita
オートスケール環境ではEC2の起動、停止が動的に行われるのでログ(syslogやアプリ、ミドルウェア)を外部に出す必要があります。 やり方として S3にアップロード CloudWatchLogsを使う ログサーバーに転送 などが一般的だと思います。 S3にアップロードする方法を考えた場合、どのようなフォルダ構成でアップロードするかは結構大切なことだと思います。(探しずらいとあとで大変) また、本番環境、検証環境などがある場合、どこにどうおくかをEC2のタグの情報を利用して考えたい場合もあると思います。 そこで今回はEC2のログをfluentdを使ってmetadataやタグ情報を利用したフォルダ構成でS3にアップロードすることをやってみました。 今回の例では/var/log/messagesをS3に以下の構成でアップロードするようにしてみました。 Bucket │ ├-Env(product
S3アクセスコントロール - Qiita
S3に対するアクセス制限方法についてまとめました。 今回の環境について S3バケット名は、「hogefuga」として説明させて頂きます。 1.特定S3バケットの中身を、全てのユーザーに見せる 下記の設定をする事により、hogefugaのS3バケット内にあるものは全て外部から見る事ができます。 S3バケットのWebホスティングを有効にしている場合などで利用します。 { "Version": "2012-10-17", "Id": "Policy1450760425940", "Statement": [ { "Sid": "Stmt1450760424377", "Effect": "Allow", "Principal": { "AWS": "*" }, "Action": "s3:GetObject", "Resource": [ "arn:aws:s3:::hogefuga/*" ]
Amazon S3用のコマンドラインツールs3cmd
S3を使うにあたってインストールしたs3cmd。とても便利なのですがあまり日本語の情報が豊富ではない気がしたので、ちっとも難しいことではないので参考にもならないかもしれませんが、誰かの役に経つかもしれないので、インストール方法とコマンドオプションを書いておきます。 cd /etc/yum.repos.d wget http://s3cmd.org/repo/CentOS_5/s3tools.repo（centosの場合) yum install s3cmd のようにリポジトリを追加してyumでRPMをインストール 使い方 http://manpages.ubuntu.com/manpages/intrepid/en/man1/s3cmd.1.html s3cmd --configure アクセスキーなど設定する s3cmd ls リスト s3cmd mb s3://bucket-name
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
