S3のデータをAmazon Athenaを使って分析する | Amazon Web Services
Amazon Web Services ブログ S3のデータをAmazon Athenaを使って分析する Amazon Athenaは対話型クエリサービスで、標準的なSQLを使ってAmazon S3の直接データを直接分析することを簡単にしてくれます。Athenaはサーバレスなので、インフラを構築したり管理する必要はなく、今すぐにデータ分析を始めることができます。Athenaはデータをロードしたり、複雑なETL処理をする必要すらありません。S3に保存されているデータに直接クエリすることができます。 Athenaは、クエリを実行する際に分散SQLエンジンのPrestoを利用しています。また、テーブルを作成、削除、変更、パーティションするためにApache Hiveも利用しています。Hive互換のDDL文や、ANSI SQL文をAthenaクエリエディタ内で書くことができます。複雑なJOINやウ
Amazon Athena に CloudTrailのログを取り込んでみた - サーバーワークスエンジニアブログ
カスタマーサポート課の伊藤です。 re:InventでAmazon Athenaが発表されました。 お客さまのサポート対応の中でCloudTrailのログを確認したいというシーンはよくあるのですが、CloudTrailは通常のテキストログではなくJSON形式なので人間にとってはなかなか読みづらく、かといって専用のツールを勝手に導入するわけにもいかずAWSの中でなんとか解析出来ないかなと、常々考えていたので早速試してみました。 データ読み込み Amazon Athenaは様々なデータ形式に対応しており、公式Blogでも次のように案内されています。 Athenaは分散SQLエンジンのPrestoをベースにしていて、JSON、CSV、ログファイル、カスタム区切りのテキスト、Apache Parquet、Apache ORC等を含む様々なフォーマットにクエリが実行できます。 そこでJSONならCl
AWS AthenaでCloudTrailのS3オブジェクトログを解析をしてみました！ | DevelopersIO
モバイルアプリサービス部の五十嵐です。 はじめてAthenaを使ってみたところクエリで苦戦して社内のメンバーに助けてもらったので、きっと他にも困っている人がいるだろうと思い記事にまとめました。 目的 これまでS3オブジェクトの操作ログは、S3のログ記録機能を使い、S3に出力されたログをLambdaからElasticsearch Serviceに登録し、Kibanaで参照していました。（以下は関連記事。） S3の操作ログをLambdaを経由してElasticsearchに送る方法 ｜ Developers.IO AmazonS3のサーバーアクセスログを解析 〜 最終版 ｜ Developers.IO 今回は、上記の仕組みを「CloudTrailのS3オブジェクトログ＋Athena」に置き換えが可能かどうかを検証してみました。 ちなみに、CloudTrailのS3オブジェクトログも最近追加され
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
