【全リージョン対応】CloudTrailのログをAthenaのPartition Projectionなテーブルで作る | DevelopersIO
CloudTrailのログを分析するためのAthenaテーブルを作る機会がありましたので、AthenaのPartition Projectionという機能を用いてリージョンごと・時系列ごとでパーティションを分割するように設定してみました。 今回はPartition Projectionについてざっくりおさらいして、CloudTrailのPartition ProjectionのサンプルDDLをご紹介します。 これまで CloudTrail画面から作成されるデフォルトのDDLを用いてAthenaでテーブルを作成して、 us-east-1 の結果を返すクエリを投げてみます。 デフォルトのDDL(クリックで展開) CREATE EXTERNAL TABLE cloudtrail_logs ( eventVersion STRING, userIdentity STRUCT< type: STRI
Amazon AthenaのPartition Projectionを使ったALB Access Logの実例 (w/ terraform & glue catalog) - Gunosy Tech Blog
こんにちは、グノシー広告技術部、Adnwチームでマネージャーをやっているサンドバーグです！ この記事は Gunosy Advent Calendar 2020 18日目の物となります。 昨日はsyouitさんの変更に強いリスト面とUICollectionViewの話でした。 内容としては弊社のiOSアプリでUITableViewの代わりにUICollectionViewを使っている理由と利点でした。 自分はiOSの開発やアプリ開発自体には関わることがほぼないのですが、わかりやすい説明だったので、まだ読まれていない方は是非読んでください！ はじめに 使ったツール・サービス・機能 Terraform Amazon Athena Link Partition Projection Link ALB Access logs Link 実装 Terraform - バケット・バケットポリシーの作成
Amazon Athenaのパーティションを理解する #reinvent | DevelopersIO
コンニチハ、千葉です。Amazon Athenaを利用する上で重要になってくるパーティションについて書きたいと思います。 パーティションの重要性 Athenaでパーティションを指定することで、各クエリで特定の領域に対するスキャンを実行できるようになります。例えば、S3上のデータがs3://applog/YYYY/MM/DD/HHのような形でS3へ保存するとします。 パーティションを指定することで、検索時に特定の日付配下のデータだけスキャンすることができるので、パフォーマンスが向上します。また、スキャンするデータ量も減るため、コストも削減できます。 パーティションを設定する パーティションを設定するには、テーブル作成時にPARTITIONED BYを指定して分割するキーを指定します。パーティションを追加する場合、以下の2つのシナリオがあります。 S3上に格納されているデータが既にHiveフォ
AthenaとRedashで遅いAPIのレスポンスタイムを可視化する｜福井 烈
可視化までの流れは以下の通りです。 ・ALBのログ出力オプションをonとしS3に出力する ・ALBのログをAthenaから参照できるようにする ・Redashでクエリを作り、Refresh Scheduleを利用して日時で実行する ・Redashの出力結果をSlackに通知する (ことで可視化を加速する) それぞれを解説していきます。 （なお、各登場人物についての細かな説明、インストールや導入方法については省略します） 構成 ALBのログ出力オプションをonとしS3に出力する AWS公式に詳しく書かれているのでこちらをご参照ください。デフォルトはoffになっているのでonにする必要があります。 ALBのログをAthenaから参照できるようにする ALBに関するテーブル作成についてはAWS公式ドキュメントにも記載がありますが、データ量が多い環境下だとパフォーマンスとスキャン量に応じて決まる従
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Athenaでデータ抽出するときによく使う関数まとめ - Qiita