Amazon DynamoDBテーブルをエクスポートしてAmazon Athenaでクエリしてみた | DevelopersIO
このようなテーブルがあったとき、「指定した期間の注文一覧を取得する」というユースケースを考えるとスキャンが必要になります。 やってみた それではSampleOrderTableテーブルのデータをAthenaでクエリまでやっていきましょう。 まずはエクスポート用のS3バケットを作成します。今回はsample-order-table-exportバケットを作成しました。 次に、作成したバケットにテーブルのエクスポートをしていきます。テーブルページのアクションから「S3へのエクスポート」を選択します。 「送信先S3バケット」に事前に作成したsample-order-table-exportバケットを指定。 「エクスポートされたファイル形式」にはAmazon Ionを選択します。指定したら「エクスポート」ボタンをクリックしましょう。 約6分ほどでエクスポートされました。dataフォルダーにgz形式
VPC Flow LogsをAthenaで分析する
Amazon VPC Flow Logs の Athena 統合を使って、S3 に保存した VPC Flow Logs を分析する機会があったので備忘録。Athena は難しそうなイメージがあったのですが、Athena 統合のおかげで Athena 側のややこしいところは自動で設定してくれるようになっていて、ずいぶんと敷居が低くなっていました。とはいえ、各種設定の意味をドキュメントで調べたりしたので、手順や参考にしたドキュメントを残します。 目次 VPC Flow Logs を有効化 VPC Flow logs が S3 に保存されているか確認する Athena 統合で CloudFormation テンプレートを作成する CloudFormation テンプレートから Athena のリソースを作成する Athena で Flow Logs をクエリする よく使う Athena のクエリ
S3に置いたCSVをAthena (+Glue) で検索したい | DevelopersIO
広島の吉川です。 DynamoDBに蓄積したデータを分析用途で柔軟に検索したいという要件に対し、Athenaが良い武器になる気がしたので素振りしてみました。 「DynamoDBからS3にCSV出力し、そのCSVをAthenaで集計する」といったシナリオを念頭に、今回は「S3上のCSVファイルのスキーマを読み取ってGlueに作成し、Athenaでクエリをかける」という部分を検証してみました。 Athenaが初めてだったので色々ドキュメントやブログ見たり社内で聞いたりしつつ触ってみました。 環境 node 16.14.0 typescript 4.6.3 esbuild 0.14.32 esbuild-register 3.3.2 uuid 8.3.2 csv 6.0.5 テスト用のCSVファイルを作成 50万件レコードのCSVファイルを作成します。今回は以下のNode.js (TypeScr
S3 に保存した CloudTrail のログを Athena でクエリしてRoute 53 のレコードをいつ誰が作成したか調査してみた | DevelopersIO
こんにちは、リサリサです。 Amazon Athena で CloudTrail のログを検索してみました。既に↓のように色々ブログは上がっていたのですが、細かいケースについてのブログなら新たに書くのもありかなと思ったので、書いてみました。 やりたいこと Amazon Athena で S3 に保存されている CloudTrail のログを検索します。 今回は、Route53 のTXTレコードをいつ誰が作成したのかを検索します。 やってみた Athena のテーブルを作る CloudTrail のコンソールから作成します。 「イベント履歴」の「Athena テーブルを作成」をクリックします。 そうすると SQL が自動で作成されますので、そのまま「テーブル作成」します。 Athena のクエリエディタを見ると、テーブルが出来ています。 クエリ結果の場所を設定 クエリ結果の保存場所の S3
[AWS ]CloudTrailの証跡ログをAthenaを使ってサクッと解析する[このリソース誰が作ったの？] | DevelopersIO
コンニチハ、千葉です。 CloudTrailの証跡ログは、マネージメントコンソールから過去90日間のものを検索できますが、90日以前のものは別途S3に保存したファイルを見る必要があります。で、少し前にCloudTrailの画面から対象のログに対してAthenaのテーブルをGUIでさくっと作れるようになっていたので試しました。 また、開発環境のリーソースを消してもいいものか？を確認したかったので棚卸し時に投げたクエリも載せておきます。 Athenaテーブルの作成 Athenaのテーブル作成は、CloudTrailの画面かクリックで作成できるようになっているのでそちらから作成します。 イベント履歴を選択し「Amazon Athena で高度なクエリを実行します」をクリックします。 CloudTrailのログを保存しているS3を選択し、「テーブル作成」をクリックします。 Athenaに移動をクリ
![[AWS ]CloudTrailの証跡ログをAthenaを使ってサクッと解析する[このリソース誰が作ったの？] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9b57dafdec6169827ed19b57890ad883ece27ee1/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FCloudTrail.png)
Amazon AthenaでCloudTrailのログをクエリするときにuserIdentityをフラットにするSELECT文を書いた | DevelopersIO
こんにちは、臼田です。 みなさん、CloudTrailの調査してますか？(挨拶 今回は私のただの備忘録ですが、AthenaでCloudTrailのログをクエリしてcsvでダウンロードするときに、構造データ(つまりuserIdentity)をフラットにしておきたいと思ったのでそのSELECT文を置いておきます。 ちょっと前置き テーブル作成は以下を参照しています。パーティションが自動で切れるのでサイコーですよね。 クエリ 以下のようになります。 SELECT eventVersion, userIdentity.type AS userIdentity_type, userIdentity.principalId AS userIdentity_principalId, userIdentity.arn AS userIdentity_arn, userIdentity.accountId
【全リージョン対応】CloudTrailのログをAthenaのPartition Projectionなテーブルで作る | DevelopersIO
CloudTrailのログを分析するためのAthenaテーブルを作る機会がありましたので、AthenaのPartition Projectionという機能を用いてリージョンごと・時系列ごとでパーティションを分割するように設定してみました。 今回はPartition Projectionについてざっくりおさらいして、CloudTrailのPartition ProjectionのサンプルDDLをご紹介します。 これまで CloudTrail画面から作成されるデフォルトのDDLを用いてAthenaでテーブルを作成して、 us-east-1 の結果を返すクエリを投げてみます。 デフォルトのDDL(クリックで展開) CREATE EXTERNAL TABLE cloudtrail_logs ( eventVersion STRING, userIdentity STRUCT< type: STRI
Amazon CloudFront ログのクエリ - Amazon Athena
この手順は、CloudFront にあるウェブディストリビューションのアクセスログで機能します。RTMP ディストリビューションのストリーミングログには該当しません。 次の DDL ステートメントの例をコピーして Athena コンソールのクエリエディタに貼り付けます。例のステートメントでは、「Amazon CloudFront デベロッパーガイド」の「標準ログファイルフィールド」セクションに記載されているログファイルフィールドを使用しています。LOCATION をログを保存する Simple Storage Service (Amazon S3) バケットに変更します。クエリエディタの使用については、「開始」を参照してください。 このクエリは、フィールドがタブ文字で区切られることを示すために ROW FORMAT DELIMITED と FIELDS TERMINATED BY '\t'
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
