Athena を使用して Load Balancer のログを分析する
簡単な説明 Elastic Load Balancing では、デフォルトでアクセスログはアクティブではありません。アクセスログを有効にするには、Amazon Simple Storage Service (Amazon S3) バケットを指定する必要があります。Athena は Application Load Balancer と Classic Load Balancer のアクセスログを分析し、ログを Amazon S3 バケットに保存します。 注: この解決策は Application Load Balancer にのみ適用されます。 解決策 Application Load Balancer ログのデータベースとテーブルを作成する 次の手順を実行します。 Athena コンソールを開きます。 クエリエディタで次のコマンドを実行して、データベースを作成します。 CREATE DA
【全リージョン対応】CloudTrailのログをAthenaのPartition Projectionなテーブルで作る | DevelopersIO
CloudTrailのログを分析するためのAthenaテーブルを作る機会がありましたので、AthenaのPartition Projectionという機能を用いてリージョンごと・時系列ごとでパーティションを分割するように設定してみました。 今回はPartition Projectionについてざっくりおさらいして、CloudTrailのPartition ProjectionのサンプルDDLをご紹介します。 これまで CloudTrail画面から作成されるデフォルトのDDLを用いてAthenaでテーブルを作成して、 us-east-1 の結果を返すクエリを投げてみます。 デフォルトのDDL(クリックで展開) CREATE EXTERNAL TABLE cloudtrail_logs ( eventVersion STRING, userIdentity STRUCT< type: STRI
Amazon Athena と AWS CloudTrail を使用したAWS Config Rules 利用料の見積もり | Amazon Web Services
Amazon Web Services ブログ Amazon Athena と AWS CloudTrail を使用したAWS Config Rules 利用料の見積もり AWS Config は、AWSリソースがあるべき設定状態に準拠しているかを監査するサービスです。記録された設定項目の数と 1 か月あたりのリソースごとに行われる AWS Config Rules の評価件数に基づいて課金されます。 この記事では、Amazon Athena を使用して AWS CloudTrail ログをクエリし、AWS Config Rules 評価の詳細な請求内訳を確認する方法をご紹介します。請求の内訳を把握することで月額コストに最も寄与しているルールを特定することができれば、特定のルールの実行頻度を減らしてコストを抑えるといったコスト最適化施策を講じることができます。なお、この記事ではAWS C
AWS Systems Manager Session Managerの利用状況をAmazon Athenaで調べる | DevelopersIO
はじめに AWS Systems Manager Session Managerを利用すると、SSH/RDP を使わずに、Amazon EC2 インスタンスを管理できます。 運用の一環として Session Manager の利用頻度 利用者、対象インスタンスのアクセスコントロール などを確認したいことがあります。 そのような目的のために、Amazon Athena から AWS CloudTrail に SQL を投げて調査する方法をユースケース別に紹介します。 前提 AWS 操作の証跡を残す AWS CloudTrail を有効にしてください。 また、CloudTrailが取得したログをAthenaで分析できるように、テーブルを作成してください。 テーブルの作成方法は、以下を参照ください。 AWS CloudTrail ログのクエリ - Amazon Athena - Amazon.c
Amazon GuardDuty の検出結果をクエリする - Amazon Athena
Amazon GuardDuty は、AWS 環境内での不正または悪質である可能性がある予期しないアクティビティを識別するために役立つ、セキュリティをモニタリングするサービスです。悪意のある可能性がある予期しないアクティビティが検出されると、GuardDuty がストレージと分析のために Amazon S3 にエクスポートできるセキュリティ結果を生成します。結果を Amazon S3 にエクスポートしたら、Athena を使用してそれらをクエリできます。この記事は、GuardDutyの 結果用のテーブルを Athena で作成し、それらをクエリする方法を説明します。 Amazon GuardDuty の詳細については、「Amazon GuardDuty ユーザーガイド」を参照してください。 前提条件 Amazon S3 に結果をエクスポートするための GuardDuty 機能を有効にします
SecurityJAWSのその先。AWS WAFのログ解析基盤の料金を算出してみた。 - セキュアスカイプラス
はじめに 事業開発部と研究開発部に属している宇田川です。 2018/11/08に開催されたSecurity-JAWSで質問がありましたAWS WAFのログ解析基盤の料金を算出してみました。 ちなみに、AWS WAFのログ解析基盤はこのような構成です。 で、構築内容は下記を見ていただければと思います。 フルログのその先。腑に落ちるAWS WAFログ解析基盤を構築してみた。～ログ保存編～ フルログのその先。腑に落ちるAWS WAFログ解析基盤を構築してみた。～見える化編～ なお、AWS WAFをCloudFrontにデプロイすることが多いことから、北バージニアリージョンでの算出内容となります。 他のリージョンの場合もS3とkinesis data firehoseの従量課金が多少違うだけで、その他のサービスはリージョン間で違いはありませんでした。 全体の料金は大きな差はなかったので、他のリージ
フルログのその先。腑に落ちるAWS WAFログ解析基盤を構築してみた。～見える化編～ - セキュアスカイプラス
はじめに 事業開発部と研究開発部に属している宇田川です。 今回の内容は、「フルログのその先。腑に落ちるAWS WAFログ解析基盤を構築してみた。～ログ保存編～」の続編となりますので、ご覧になっていない方は、ログ保存編から読み進めてください。 Glueでデータカタログの作成 Athenaでログのデータベース、テーブルの作成もできるのですが、Glueが、S3やRDS上にあるデータを自動で解析して Amazon Athena のデータベースとテーブルを作成してくれるクローラーという機能があるため、それを使ってみます。 Glue クローラ設定 AWS マネージメントコンソールのサービスで「AWS Glue」を選択。 左メニューで「クローラ」を選択し、「クローラの追加」をクリックします。 クローラの名前を入力します。 ここは「aws-waf-logs-custom-crawler」とします。 「次へ
フルログのその先。腑に落ちるAWS WAFログ解析基盤を構築してみた。～ログ保存編～ - セキュアスカイプラス
はじめに 事業開発部と研究開発部に属している宇田川です。 今回の内容は、11/08に開催のSecurity-JAWSで登壇させていただたいた内容の構築方法を紹介させていただきます。 書き進めるうちに長くなってしまったので、今回の「ログ保存編」と「見える化編」に分けさせていただきました。 最終的には、下記のような解析基盤ができます。 （左上）国別「action」の比率が表示される世界地図 （右上）時間に関係なく国別の比率が見たいので円グラフ （左下）分単位での検知したルール別に名前入りで集計されるグラフ （右下）時間に関係なくルール名別の比率が見たいので円グラフ 構成 構成は下記の通りです。 AWS WAFのほかにKinesis Data Firefose、Lambda、S3、Athena、QuickSightを使用しています。 それぞれ北バージニアリージョンで使用しています。 東京リージョ
AWS WAFのログをAthenaで整形する – サーバーワークスエンジニアブログ
渡辺です。 少し前になりますが、2018年8月末に一部WAF界隈で衝撃が走りました。 AWS WAFは全てのセッションのログが取得できなかったのですが、それが可能になったというニュースです。 AWS WAF の包括的なログ記録機能が新たに利用可能に ログの取得方法はリンク先に書いてある通りなので、ここでは語りません。 AWS WAF -> Kinesis Data FIrehose -> S3 と保存した前提で、Athenaでレポート化するところをやってみましょう。 AWS WAFのログはやや複雑なJSONで出力されるので、フレンドリーなCSVファイルに変換してみます。 1.まず結果から 1-1.Query SELECT DATE_FORMAT(FROM_UNIXTIME(logs.timestamp/1000, 'Asia/Tokyo') ,'%Y-%m-%d %h:%i:%s') as
AWS WAFのフルログをAthenaで分析できるようにしてみた | DevelopersIO
こんにちは、臼田です。 皆さん、WAFWAFしてますか？(思いつき ついにAWS WAFでフルログを取得することができるようになりました！すっごいわくわくしてます。 AWS WAFのログをFirehoseでS3に出力しブロックログをS3Selectで確認してみた これまでは頑張ってsampleログを取得してゴニョゴニョしていましたが、これからはKinesis Data Firehoseにつっこんでやりたい放題です！ 今回はとりあえずそのままS3に吐き出されたログをAthenaで分析できるようにしてみます。 ログをS3に入れるところまでの方法は上記記事を参考にしてください。 テーブル作成 ログのフォーマットはこちらにあります。 CREATE TABLEは下記のようになります。 2020/01/05追記 XSS/SQLiマッチルール詳細追加によるスキーマ変更を反映しました 2018/12/24
Amazon Kinesis Firehose, Amazon Athena, Amazon QuickSightを用いたVPCフローログの分析 | Amazon Web Services
Amazon Web Services ブログ Amazon Kinesis Firehose, Amazon Athena, Amazon QuickSightを用いたVPCフローログの分析 多くの業務や運用において、頻繁に更新される大規模なデータを分析することが求められるようになっています。例えばログ分析においては、振る舞いのパターンを認識したり、アプリケーションのフロー分析をしたり、障害調査をしたりするために大量のログの可視化が必要とされます。 VPCフローログはAmazon VPCサービス内のVPCに属するネットワークインターフェースを行き来するIPトラフィック情報をキャプチャします。このログはVPC内部に潜む脅威やリスクを認識したり、ネットワークのトラフィック・パターンを調査するのに役立ちます。フローログはAmazon CloudWatchログに格納されます。いったんフローログを
Amazon Kinesis および Amazon Athena を使用して VPC ネットワークのトラフィックを分析および視覚化する | Amazon Web Services
Amazon Web Services ブログ Amazon Kinesis および Amazon Athena を使用して VPC ネットワークのトラフィックを分析および視覚化する ネットワークログの分析は多くの組織で一般的に実施されています。 ネットワークログを収集し、分析することにより、ネットワーク上のデバイスがそれぞれ、およびインターネットとどのように通信しているかを把握できます。 たとえば、監査、コンプライアンス、システムのトラブルシューティング、セキュリティフォレンジックなど、ログ分析を実行する理由は多数あります。 Amazon Virtual Private Cloud (VPC) では、VPC Flow Logs を使用してネットワークフローをキャプチャできます。 VPC、サブネット、ネットワークインターフェイス用のフローログを作成できます。 サブネットまたは V
VPC Flow LogsをAthenaで分析できるように設定する方法 - 挫折から何かしら学んでいきたい
はじめに 2018年8月のアップデートでVPCフローログをS3に直接配信できるようになったため、Amazon Athenaで分析できるように設定したいと思います。 dev.classmethod.jp 上記サイトの設定方法で以下の箇所にVPCフローログが保存されます。 バケット名>AWSLogs>アカウント番号>vpcflowlogs>ap-northeast-1>年>月>日 Amazon Athena設定 テーブル作成 Athena クエリエディタでデータベース作成。 データベース名を入れて、[Run Query] ボタンを選択。 データベースが作成されるので左のボックスから選択しましょう。 次にクエリエディタからテーブルを作成します。 今回は変数 dt として日付でパーティションを区切ります。 データベース名、テーブル名、バケット名、アカウント番号を入れて、[Run Query] ボタ
AWS Cloudtrail Logs を AWS Glue と Amazon Quicksight 使って可視化する | Amazon Web Services
Amazon Web Services ブログ AWS Cloudtrail Logs を AWS Glue と Amazon Quicksight 使って可視化する AWS CloudTrail ログを簡単に視覚化できることは、AWS インフラストラクチャがどのように使用されているかについてより良い理解を提供してくれます。また、AWS API コールの監査とレビューを行って、AWS アカウント内のセキュリティ異常を検知するためにも役立ちます。これを行うには、CloudTrail ログに基づいた分析を実行できる必要があります。 この記事では、Amazon S3 内の AWS CloudTrail ログを JSON 形式からクエリ用に最適化された形式のデータセットに変換するための AWS Glue と AWS Lambda の使用について詳しく説明します。その後、Amazon Athena
Amazon Athena CloudTrailSerdeを利用してAWSのアクティビティを探索する | DevelopersIO
7/1(土)開催のDevelopers.IO 2017 では「現場で使える Amazon Athena」と題して、私がハンズオンセミナーを担当することになりました。Amazon Athena はビックデータだけでなくAWSを利用する全ての人々に有益なサービスです！今日はハンズオンでも紹介したい『CloudTrailSerde』を解説します。 『CloudTrailSerde』とは 『CloudTrailSerde』とは、CloudTrail のログファイルをパースして Athena テーブルを作成できるデシリアライザーです。つまり、これを利用することでこれまでより簡単かつ高速に CloudTrail のログファイルをクエリできるようになります。 すでに弊社の西澤さんが同じようなブログをご紹介しています。このブログは jsonファイルである CloudTrailのログファイルを JsonSe
Analyze Security, Compliance, and Operational Activity Using AWS CloudTrail and Amazon Athena | Amazon Web Services
AWS Big Data Blog Analyze Security, Compliance, and Operational Activity Using AWS CloudTrail and Amazon Athena As organizations move their workloads to the cloud, audit logs provide a wealth of information on the operations, governance, and security of assets and resources. As the complexity of the workloads increases, so does the volume of audit logs being generated. It becomes increasingly diff
Athena & ALB Log Analysis
One of my favorite announcements from Amazon’s 2016 re:Invent is the new Athena analytics service that helps you run Hive queries directly on any of your S3 buckets. Amazon services like ELBs, ALBs, CloudTrail and Config all dump structured logs exclusively to S3 which until now we’ve setup EMR, ELK or Splunk clusters for further analysis. Jeff blogged about this old workflow in 2014 but in this p
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://d1.awsstatic.com/International/ja_JP/Whitepapers/Building-Big-Data-Storage-Solutions_Data_Lakes_for-Maximum-Flexibility.pdf
Query Amazon GuardDuty findings - Amazon Athena
ALB Log Analysis with AWS Athena