Amazon AthenaでAWS WAF XSS/SQLiの詳細ログをクエリしてみた #reinvent | DevelopersIO
こんにちは、臼田です。 みなさん、ログ分析してますか？(挨拶 AWS WAFでXSS/SQLiの詳細ログが出力されるようになったので、これをAmazon Athenaでクエリしてみました。詳細ログについては下記をご参照ください。 AWS WAFのログをAthenaで分析 AWS WAFのログはS3に保存されます。S3に保存されているデータを分析するにはAmazon Athenaを利用してクエリをかけるとやりやすいです。詳細は下記をご確認ください。 今回のログフィールドの追加に合わせてアップデートしました。 新しいCreate Table 上記記事も更新してありますが、新しいCreate Tableを書いておきます。 CREATE EXTERNAL TABLE IF NOT EXISTS waflogs ( `timestamp` bigint, formatVersion int, web
AWS SDK for Rubyを使ったAWS Athenaの利用 - dely Tech Blog
こんにちは、サーバーサイドエンジニアのjoooee0000です。 delyはデータ基盤としてAWS Athenaを使っており、ユーザーの行動ログからアプリケーションのアクセスログまで、様々なログがAWS Athena上に存在しています。AWS AthenaはS3上にあるデータソースをprestoのクエリ記法で引けるようになっていてとても便利です。 クラシルの分析基盤の歴史に興味がある方は、この記事にまとまっているので参照してみてください。クラシルの分析基盤はデータサイエンスチームが主体となって今も改善を続けています！ tech.dely.jp 今回は、AWS SDK for Rubyを使ってAthenaのクエリを実行する記事が1本もなかったので書きました。また、本記事では並列処理ではなく、シンプルな1クエリを引くsync処理の場合について紹介します。 AWS Athena SDKの特徴 A
Amazon Athena JDBCプログラミングガイド | DevelopersIO
はじめに 今回は私が Amazon Athena で JDBCプログラミングを実際に書いて得られた知見についてまとめてみました。各種チューニングパラメタの使い方、実際のDDLや参照系クエリーを例に解説します。 JDBCドライバーの入手 公開されたS3バケットからダウンロードから取得する方法とAmazon Athena のユーザーガイド（英語マニュアル）のリンクからダウンロードする方法の2種類あります。 現在は、JDBC 4.1互換のドライバが提供されています。 公開されたS3バケットからダウンロード 誰でも公開されたS3バケットからダウンロードできます。例えば、AWS CLIでは以下のようにダウンロードできます。 aws s3 cp s3：//athena-downloads/drivers/AthenaJDBC41-1.0.0.jar [ local_directory ] Amazon
Amazon Athena のパフォーマンスチューニング Tips トップ 10 | Amazon Web Services
Amazon Web Services ブログ Amazon Athena のパフォーマンスチューニング Tips トップ 10 2020/10/13 に、原文の更新に合わせて最新のバージョンにアップデートしました Amazon Athena は、S3 に保存されたデータに対して標準 SQL で簡単に分析を行える、インタラクティブクエリサービスです。Athena はサーバーレスのためインフラ管理の必要がなく、また実行したクエリのぶんだけ料金を支払うかたちになります。Athena は簡単に使えます。Amazon S3 上のデータに対してスキーマを定義し、標準 SQL でクエリを投げるだけです。 このブログポストでは、クエリパフォーマンスを改善するための 10 個の Tips をご紹介します。Tips には、Amazon S3 に置かれたデータに関するものと、クエリチューニングに関するものがあ
Amazon Athena: テーブルデータの洗い替え・追加を試してみる #reinvent | DevelopersIO
新サービス Amazon Athenaは、S3上のCSVファイルにテーブル定義（CREATE EXTERNAL TABLE）を適用するだけで、ファイルに変更を加える必要なく、クエリを実行することができます。他の類似サービスのように、CSVファイルをロードし直したり、変換する必要が無い点が他のサービスと異なります。 今回は、CSVファイルを置き換えることでテーブルデータを洗い替えや、CSVファイルを追加することでテーブルデータが追加できるだろう！という仮説を検証してみたいと思います。 今回はデータの更新パターンとして、以下の２つのパターンを試してみます。 テーブルデータの洗い替え（S3ファイルの上書き） テーブルデータの追加（S3ファイルの追加） データファイルの指定は S3のデータフォルダ データファイルの指定は CREATE EXTERNAL TABLE の LOCATION パラメータ
AWS Athena雑感 - Go ahead!
Amazon Athena — Serverless Interactive Query Service - AWS Prestoのフォースを感じたので，知り合いが試した情報も含めて，今思っている所を書いてみる． 実装 Athenaのページにあるように，実行エンジンは独自実装ではなくて，Facebookが公開しているPrestoを使っている．FacebookのみならずTreasure Data，Airbnb，Netflixなどクエリがガンガン飛ぶ環境で元気に動いている実績もあるので，拡張性，パフォーマンス，安定性で選ばれたのだろうと思われる．あとAWS的にJavaの方が相性は良さそう． パフォーマンス いくつかの記事で言及されている． Analyzing Data in S3 using Amazon Athena Amazon AthenaをBigQueryと比較してみた Amazon
Analyzing Data in S3 using Amazon Athena
AWS Big Data Blog Analyzing Data in S3 using Amazon Athena April 2024: This post was reviewed for accuracy. Amazon Athena is an interactive query service that makes it easy to analyze data directly from Amazon S3 using standard SQL. Athena is serverless, so there is no infrastructure to set up or manage and you can start analyzing your data immediately. You don’t even need to load your data into A
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
