AWS CloudTrail Log Search Using Amazon Athena
AWS CloudTrail makes it easier to search CloudTrail log files using the power of Amazon Athena. Previously, you had to manually create a CloudTrail table using the Athena console or AWS CLI and ensure you had the proper configuration and data definitions to match the CloudTrail log format. Now, from within the CloudTrail console event history page, you simply enter the Amazon S3 bucket where your
Amazon Athena のパフォーマンスチューニング Tips トップ 10 | Amazon Web Services
Amazon Web Services ブログ Amazon Athena のパフォーマンスチューニング Tips トップ 10 2020/10/13 に、原文の更新に合わせて最新のバージョンにアップデートしました Amazon Athena は、S3 に保存されたデータに対して標準 SQL で簡単に分析を行える、インタラクティブクエリサービスです。Athena はサーバーレスのためインフラ管理の必要がなく、また実行したクエリのぶんだけ料金を支払うかたちになります。Athena は簡単に使えます。Amazon S3 上のデータに対してスキーマを定義し、標準 SQL でクエリを投げるだけです。 このブログポストでは、クエリパフォーマンスを改善するための 10 個の Tips をご紹介します。Tips には、Amazon S3 に置かれたデータに関するものと、クエリチューニングに関するものがあ
Amazon Athenaではじめるログ分析入門 - Qiita
はじめに Amazon AthenaはAWSの分析関連サービスの1つで、S3に保存・蓄積したログに対してSQLクエリを投げて分析を行えるサービスです。分析基盤を整えたり分析サービスにログを転送したりする必要が無いため、簡単に利用できるのが特長です。 今回はAthenaを使ってこんなことできるよー、というのを紹介したいと思います。 ※社内勉強会向け資料をQiita向けに修正して公開しています ログ分析とAmazon Athena ログ分析は定量的にユーザ行動を分析してサービスの改善に役立つだけでなく、障害時の調査にも役立つなど非常に便利です。ログ分析に利用されるサービスとしてはGoogle BigQueryやAmazon Redshiftなど様々なものがありますが、その中でAmazon Athenaの立ち位置を確認したいと思います。 ログ分析の流れ ログ分析の基盤の概念図は下記のようになりま
Amazon Athena 新しくサポートされた OpenCSVSerDeを使ってみた | Developers.IO
待望の OpenCSVSerDeが新たにサポートされましたので早速使ってみました。OpenCSVSerDeを利用することで引用符で囲まれた列のデータの取り出しが可能になります。 OpenCSVSerDeとは 最初に「SerDe」とは、Serialize/Deserializeの略で、あらゆるデータを入出力できる形式に変換するためのインタフェースを提供します。そのインタフェースを継承したクラスの一つがOpenCSVSerDeです。 例えば、以下のようなCSVファイルあった場合、LazySimpleSerDeでは、列データに引用符が含まれてしまいます。 "a1","a2","a3","a4" "1","2","abc","def" "a","a1","abc3","ab4" そこで登場したのが、本日ご紹介するOpenCSVSerDeです。OpenCSVSerDeは、CSVファイルのすべての列が
Redshift Spectrumと Athenaの違いを探ってみた - Qiita
本エントリは、ulgeek Advent calendarの22日目です。 はじめに AWSではS3をデータレイクとして位置づけ、S3上のデータに直接アクセスできるインターフェースを用意しています。現在、Tokyoリージョンでも利用できる S3 のフロントサイドに Athena と Redshift Spectrumがあります。これらはユースケースによって利用すべきプロダクトが違ってきますが、その指針となるよう特徴をまとめてみました。 ※ Athenaは2017/6/22, Redshift Spectrum は 2017/10/20 からTokyoリージョンでも利用できるようになりました。 Athena と Redshiftの違い概要 共通 ファイルシステムに対して SQL を発行するプロダクトの Presto によって動作します。 スキャン課金が1TBあたり$5 パーティション、列指向
Redshift spectrumとAthenaの違いまとめ - Qiita
クラスタを必要としない(A) クエリサービス(B) Amazon Athena は table に partition を設定しないと、基本的に発行するクエリーは該当の S3 Bucket のフルスキャンになってしまいます(C) 構造化データに適している(A) 大規模データに対して、複数クラスタで動作するため、高速なレスポンスが期待できる(A) 非常に大規模な多数のテーブル間で多数の結合がある、高度に構造化されたデータに対してクエリを実行する必要がある場合は、Amazon Redshift をお勧めします(B) (A):Amazon Redshift Spectrum 10 のベストプラクティス (B):よくある質問 (C):現場で運用する視点から見た Amazon Athena 所感 Athenaは、ファイルに対するフロントエンド、grepのUI的な位置付け Redshift spect
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Athena で実現する データ分析の広がり