タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
ウェブサイトのアクセス数や訪問者の属性を分析するために「Google Analytics」を使っている人は多いはず。無料のオープンソースソフトウェア「GoAccess」を使うと、トラッキングコードをウェブサイトに埋め込むことなく、リアルタイムにアクセス状況をターミナルやブラウザ上で可視化することができます。 GoAccess - Visual Web Log Analyzer https://goaccess.io/ 今回はUbuntu 18.04上にGoAccessをインストールしてみます。最新版をインストールするには下記コマンドを実行すればOK。 echo "deb http://deb.goaccess.io/ $(lsb_release -cs) main" | sudo tee -a /etc/apt/sources.list.d/goaccess.list wget -O -
Pythonによるアクセスログ解析入門 / Tutorial on Access Log Analysis by Python
PyConJP 2021での発表(https://2021.pycon.jp/time-table?id=269506) で利用した資料です。サンプルコード (https://colab.research.google.com/drive/1r4GcXWvM-j-dlfT0XF-O-Y5DiyAM-gGq?usp=sharing) もあります。
アクセスログ解析サービスVisionalistで利用していたドメイン（tracer[.]jp）の脅威分析と注意喚起 - NTT Communications Engineers' Blog
はじめに イノベーションセンターの神田です。 みなさんはVisionalistというサービスをご存じでしょうか。 VisionalistはNTTコミュニケーションズのグループ会社であるNTTコム オンライン・マーケティング・ソリューション（以下 NTTコム オンライン）が提供していたアクセスログ解析サービスです。 2020年7月にサービスを終了しましたが、2022年5月にこのサービスで利用していたドメインを第三者が再登録し、セキュリティ上問題があるスクリプトを設置している可能性が確認されました（以下 本件）。 本件について、NTTコム オンラインは広く注意を呼びかけています。 本件に対して、イノベーションセンターでは事象が確認された直後からそのリスクの有無や程度について詳細な調査を実施してきました*1。 本記事は、本件におけるリスクがこれ以上拡大しないようにこれまでに我々が確認した事実とそ
![アクセスログ解析サービスVisionalistで利用していたドメイン（tracer[.]jp）の脅威分析と注意喚起 - NTT Communications Engineers' Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/2f28058c383a69917b985ef2447a2eb54088c0d3/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2FN%2FNTTCom%2F20220603%2F20220603204839.png)
AWSチームのすずきです。 2020年9月26日(土)、 日本時間 PM 5:55 から PM 6:45 の間、日本のCloudFrontのエッジロケーションで断続的にエラーが発生していた件について、 CloudFrontのアクセスログを元に調査する機会がありましたので、紹介させて頂きます。 弊社ポータルのお知らせ 日本時間2020年9月27日(日) 5:47:45 CloudFront お知らせ 日本のエッジロケーションでエラーが上昇しておりました。| Elevated Errors from one of our edge... https://t.co/5qSz7x59vV — AWS障害情報(全リージョン) (@awsstatusjp_all) September 26, 2020 Athena(抽出) 国内に存在するエッジロケーションと推測されるアクセスログを Athenaで抽出
クックパッドマートでサーバーサイドなどのソフトウェアエンジニアをしている石川です。 この記事では、クックパッドマートとは全然関係なく、私が正社員として新卒入社する前、2020 年初頭に技術部 SRE グループで就業型インターンをしていた際に実装したシステムについてご紹介します。 ALB のアクセスログ 弊社では AWS の Elastic Load Balancing (ELB) を多用しており、Application Load Balancer (ALB) が多くのウェブアプリケーションで利用されています。 ところで ALB はアクセスログを Amazon S3 に保存することができます。このアクセスログにはアクセス先の IP アドレスやリクエスト URL の他、レスポンスのステータスコード、レスポンスまでにかかった時間、User-Agent などの情報が記録されています。 これらの情報
ALBのアクセスログ約10分程度のタイムラグでAthena解析可能にする仕組みを紹介します | DevelopersIO
ALBのアクセスログを Lambdaを利用して CloudWatchLogsに転送し、CloudWatch Logs Insights で分析してみました。 AWSチームのすずきです。 前回の記事では、Athenaで効率的な解析を可能にするFirehoseについて紹介させて頂きました。 今回、Firehoseへのログ登録と、Athena/Glue のパーティション更新を自動化し、 10分程度のタイムラグで Athena を利用した ALBのアクセスログ解析を可能にする仕組みを紹介します。 Firehoseで Parquet形式に変換したALBのアクセスログをAthenaで解析してみた 構成図 AWS設定 S3 ALBのアクセスログ、5分ごとに各ノードが一斉にログファイルを出力する仕様です。 S3イベントから直接Firehoseの登録を実行した場合、5分ごとのログ出力直後にFirehoseの
アソビュー！ Advent Calendar 2020 の19日目の記事です。 休日の便利でお得な遊び予約サイト「アソビュー！」のSEOを担当している西本です。先日「December 2020 Core Update」が発表されましたが、Googleのアルゴリズム更新に右往左往してしまうのはSEO担当者の宿命だな、と思う今日この頃です。 今回は大規模サイトのSEOにおいて重要と考えている、Googlebotのクロール状況の分析についてです。先日SearchConsoleの「クロールの統計情報レポート」がリニューアルされとても便利になりましたが、それ以前からアソビュー！で実施している分析の内容について書きます。 目的 「クロールバジェット」と言われたりしますが、Googlebotはサイト内の全てのページを必ずしもクロールするわけではなく、一定のリソースの範囲内でしかクロールしないと言われてい
ALBアクセスログのフィールドとして「traceability_id」が追加されました | DevelopersIO
2024年5月、Application Load Balancer (ALB)のアップデートにより、 アクセスログと接続ログのフィールドとして「traceability_id」が追加されました。 アップデート後のALBのアクセスログ、接続ログを調査し、 新しく追加された「traceability_id」が、 アクセスログ、接続ログの突き合わせに利用できる事を確かめる機会がありましたので、紹介させていただきます。 ELB設定 ELBの設定画面 「属性を編集」を利用して、アクセスログ、接続ログをS3に出力する設定としました。 ※ログ出力先のS3バケット、バケットポリシーは事前にELBアクセスログ許可済みのものを利用しました。 ステップ 2: S3 バケットにポリシーをアタッチする ログ確認 アクセスログ、接続ログ、それぞれの最終フィールドに、「TID_」で始まる、 traceability_i
CookieのSameSite=Laxデフォルト化 アクセスログで影響調査 | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]
したがってSameSite=Lax化の影響を調べるには、「アンカータグとGETのfrom以外で、異なるRegistrable Domainから生成されたリクエストでCookieを使用していないか」ということを確認する必要があります。 しかしこれを漏れなく確認していくことは、なかなか骨の折れる作業ではないでしょうか。 アクセスログのRefererヘッダを見れば、異なるRegistrable Domainから送られてきたリクエストかどうか、ある程度わかりそうな気もしますが、Refererヘッダは送られないケースが多々あったり、そもそもリクエスト生成元のタグ名を判別できなかったりと完璧ではありません。 Fetch Metadataリクエストヘッダとは Fetch Metadataリクエストヘッダとは、一言で言うと「リクエストが生成されたコンテキストをサーバ側に通知するためのヘッダ」です。 ざっく
![CookieのSameSite=Laxデフォルト化 アクセスログで影響調査 | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/429d6761b29121c48e76f6c54419eaebcb802f21/height=288;version=1;width=512/https%3A%2F%2Ftechblog.raccoon.ne.jp%2Fwp-content%2Fuploads%2F2020%2F01%2Fsamesite_lax.jpg)
Firehoseに対応したAPI Gatewayのアクセスログ設定を試してみた | DevelopersIO
AWSチームのすずきです。 Amazon Kinesis Data Firehose への アクセスログ出力が可能になった Amazon API Gateway。 その設定を試す機会がありましたので、紹介させていただきます。 Amazon API Gateway が Amazon Kinesis Data Firehose へのアクセスログ記録をサポート開始 設定 API Gatewayのログ出力先とする Kinesis Data Firehoseのストリームを作成します。 ストリームの名称は「amazon-apigateway-」で始まる名称とします。 Firehoseの出力先はS3としました。 API Gateway のログ設定で利用する「Delivery stream ARN」を確認します。 IAM API Gateway のサービスロール「AWSServiceRoleForAPIG
Splunkのアクセスログ解析でWEARのAPIを201件(約5万行)削除した話 - ZOZO TECH BLOG
こんにちは、WEAR部運用改善チームの佐野です。 私たちのチームでは、WEARの日々の運用業務を安全かつ効率的に行えるよう改善をしています。今回は、年初から行っていた不要APIの削除作業についてご紹介します。 背景 残念なことに長い間WEARでは不要になったAPIが放置されてしまっており、どのAPIが実際に使用されているものなのかが分かりにくい状態になっていました。WEARのAPIはWeb・iOS/Androidアプリ・バッチ・社内ツールから参照されているのですが、使用されているのかが明確でないAPIが多数残されていることにより、以下のような問題がありました。 リプレイスや脆弱性診断の対象箇所の洗い出しの際に余計なコストが掛かる 運用業務において何かを調査をする際に、使用されていないAPIがあることで不要なコードも増え、調査がしにくい 実際に、他部署からの問い合わせの調査でとある処理を追っ
大阪オフィスのYui(@MayForBlue)です。 今回は、ALBのアクセスログをS3に保存してライフサイクルルール（保存期間）を設定する方法をご紹介します。 手順 ALBのアクセスログを有効化する EC2のダッシュボードの左側メニューからロードバランサーを選択し、一覧から対象のロードバランサーを選択します。 説明タブをスクロールして「属性の編集」をクリックします。 設定用のウィンドウが表示されるので、アクセスログの「有効化」にチェックを入れます。 「S3の場所」に作成したいバケット名を入力して、「この場所の作成」にチェックを入れます。 先にS3でバケットを作成してから適用することもできますが、この方法を使うとS3バケットに対してのアクセスログ書き込みに必要な権限をAWS側で設定してくれるのでおすすめです。 S3バケットのライフサイクルルールを設定する S3の画面に移動して対象のバケット
運用しているウェブアプリケーションへの、Cloudflare経由のリクエスト数はどれくらいあるかな、と調べたくなった。 そのさい、ちょっと試行錯誤することになったので記しておく。 CloudflareのIPレンジはこのあたりに記されているので、これと合致するかを調べていけばよさそう。 IP Ranges | Cloudflare https://www.cloudflare.com/ips-v4 以降、アクセスログはS3に置いていて、hostカラムにリクエスト元IPが格納されていて、Amazon AthenaからSELECTできるものとする。 また、実際には日付での絞り込みをおこなわないと、全範囲の探索になってしまうので注意。 is_subnet_of Prestoの0.233以降だと、is_subnet_ofという関数が用意されていて、IPレンジ内にIPがあるかを判定できるようだった。
Amazon AthenaのPartition Projectionを使ったALBのアクセスログ解析環境をTerraformで構築する | Recruit Tech Blog
こんにちは。スタディサプリ ENGLISH SREグループの木村です。 はじめに 障害調査などでALBのアクセスログを解析したいというときが皆あると思います。 私はあります。 今回はAthenaを使ってALBのログを解析する方法と新機能で発表されたPartition Projectionを利用するとどのようなメリットがあるのか説明したいと思います。 ALBのアクセスログ ALBには標準でアクセスログを出力する機能があり、有効化することで自動でS3にアクセスログを保存することができます。 しかし、標準でアクセスログはgz形式で出力されており、通常解析するにはS3からダウンロードをしてきて、その後にgzを解凍してから、別途ツールを使って分析するなどの面倒な作業が発生してしまいます。 また、アクセスログはデータが大量になることも多く、DLして利用する場合でも一度に多くの範囲を分析するのは困難です
これは何 アクセスログとかどれくらいの期間保存すればいいかな？というのを検討した資料。 結論でいうと以下のように解釈してます アクセスログは90日 監査ログやリリース履歴は1年 この資料見ておけばOK IPAの資料にまとまっていました。 https://www.ipa.go.jp/files/000052999.pdf 以下はそこからちょっとだけ掘ってみたものです。 アクセスログについて 刑事訴訟法における記述 刑事訴訟法 第百九十七条 ３「通信履歴の電磁的記録のうち必要なものを特定し、三十日を超えない期間を定めて、これを消去しないよう、書面で求めることができる。」 もうちょっと詳しく原文を読む http://elaws.e-gov.go.jp/search/elawsSearch/elaws_search/lsg0500/detail?lawId=323AC0000000131_2017
CloudWatch Logs Insights でApacheのアクセスログを確認する | DevelopersIO
CloudWatch Logs Insightsを使って、Apacheのアクセスログを集計する方法をご紹介します。Insightsを使うことで、CloudWatch Logグループにクエリを実行したり、クエリの結果を可視化できます。 直近、25件のログを表示する 事前準備としてCloudWatch Logsの設定を行い、/var/log/httpd/access_logをCloudWatch Logsに転送しておきます。CloudWatchコンソールからインサイトを選択し、ロググループを選択します。apacheのアクセスログである/var/log/httpd/access_logを選びました。ロググループは複数選択できます。 検索範囲を指定します。1時間といった相対値と10/1 00:00〜10/1 23:59といった絶対値が指定できます。 サンプルクエリを実行します。サンプルクエリから2
import { serve } from "https://deno.land/std@0.177.0/http/server.ts" const kv = await Deno.openKv() const init = { headers: { "content-type": "text/html", } } function escapeHtml(unsafe) { return unsafe .replace(/&/g, "&") .replace(/</g, "<") .replace(/>/g, ">") .replace(/"/g, """) .replace(/'/g, "'"); } const toHTML = logs => { const trs = logs.map(log => `<tr onclick="event.t
Firehoseで Parquet形式に変換したALBのアクセスログをAthenaで解析してみた | DevelopersIO
AWSチームのすずきです。 ALBのアクセスログ を Athena で効率の良い解析を行うため、 Lambda と Parquet形式への変換を有効にしたFirehose を利用する機会がありましたので、紹介させていただきます。 概要図 設定 今回のAWSリソース、CloudFormation で設置しました。主要な設定内容を紹介します。 利用したテンプレートは記事末尾にリンクします。 Glue Firehoseの変換データの出力先となる Glue Table の設定を行います。 TableInput 入出力フォーマットは「Parquet」を利用する指定とします。 TableInput: Owner: owner InputFormat: org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat OutputFormat:
S3のサーバーアクセスログをAthenaで確認し、アクセスに失敗したログを洗い出す方法をご紹介します。ユーザーからS3に接続できないと連絡があった場合などにご活用ください。 S3のサーバーアクセスログを有効にする S3コンソールから、バケットを選択しプロパティからサーバーアクセスのログ記録を有効にします。 Athenaでテーブルを作成する Athenaコンソールを開き、データベースを作成します。 create database s3_access_logs_db 作成すると、リストに"s3_access_logs_db"が追加されるので選択します。 テーブルを作成します。「LOCATION 's3://awsexamplebucket-logs/prefix'」を実環境に合わせて、実行します。具体的にはS3のサーバーアクセスログの設定で指定したバケットとプレフィックスを指定します。 CRE
LambdaでCloudFrontアクセスログを展開しログファイルの形式を変換してみた | DevelopersIO
Lambda関数を利用し、gzipで圧縮されたCloudFrontアクセスログを展開、ファイル形式をTSVからCSVに変換する方法をご紹介します。 CloudFrontアクセスログはS3に出力することができますが、ログはgzipで圧縮され、TSV形式になっています。 アクセスログの設定および使用 本エントリでは、アクセスログの出力をトリガーに、Lambda関数を起動させ、gzipを展開、TSV形式からCSV形式に変換し、S3にアップロードしてみたいと思います。 構成＆前提 構成は以下となります。 アクセスログの出力先バケットは単一で、CloudFrontディストリビューション毎にログ出力先のプレフィックスを指定します。Lambda関数を起動するS3トリガーではプレフィックスを指定し、CSV形式に変換後に出力するバケットは、アクセスログ出力先バケットと同一で、フォルダ *1が異なる構成です。
修正前のスクリプトと生成AIとのやりとり スクリプトの前提条件は、この内容と同じです。 まず、修正前の「HTTPステータスが200以外のメソッド、URIなどを出力するスクリプト」です。 HTTPステータスが200以外のメソッド、URIなどを出力するスクリプト import os import glob import pandas as pd log_directory_output_filesを指定するCSVファイルパスを変更してください config_file = "C:/performance/scripts/config/http_status_not_eq200_requests_config.csv" アクセスログフォーマットの列名 columns = ["host_ip_address", "remote_hostname", "date", "time", "method_u
ALBのアクセスログを有効にする際、Access Deniedになった時にS3バケットで確認するポイント | DevelopersIO
はじめに ALBのアクセスログをS3バケットに出力するために、ALBを設定変更すると、Access Deniedと表示されました。 Access Denied for bucket: <バケット名>. Please check S3bucket permission このエラーを対処するために、S3バケット側で確認するポイントをご説明します。 前提条件 以下の２つのリソースを作成済み ALBの作成 ALB名：test リージョン：東京リージョン S3バケット バケット名：alb-accesslog-20230322 リージョン：東京リージョン KMSキーが適切か S3バケットのサーバー側の暗号化キーがAmazon S3 マネージドキー(SSE-S3) であるかどうかです。 ドキュメントにも記載がありますが、ELBのアクセスログに対して、サーバー側の暗号化キーは、SSE-S3のみをサポートし
CloudFrontのアクセスログ保存用S3バケットにはACL有効化が必要なので注意しよう | DevelopersIO
はじめに 清水です。先日、Amazon S3のACL無効化が推奨されたことで、S3のサーバアクセスログ記録保存用のS3バケットの権限設定においてもACLではなくバケットポリシーを使用するようになっていた、というブログを書きました。 ACL無効化が推奨されたことでS3のサーバアクセスログ記録のためのアクセス許可はどうなったのか!?確認してみた | DevelopersIO re:Invent 2021期間中に発表されたS3のACL無効化機能に伴う変更です。（【アップデート】S3でACLを無効化できるようになりました #reinvent | DevelopersIO）上記エントリではS3のサーバアクセスログ記録保存用となるS3バケットについて確認しましたが、CloudFrontのアクセスログ記録用となるS3バケットについて、ACL無効化の影響（ACLを無効にしたS3バケットをCloudFron
AWSチームのすずきりょうです。 2021年5月のAWS WAFのアップデートで、アクセスログのフィルタリングがサポートされました。 AWS WAFルールで 「Count」、「Block」と判定されたログのみ記録する設定を試す機会がありましたので、紹介させていただきます。 AWS WAF adds support for log filtering WAFダッシュボード Web ACLs > Logging and metrics WAFのログ設定画面に「Filter Logs」が追加されました。 フィルタ設定 デフォルトは記録対象外(Drop)、「Count」、「Block」と判定されたログのみを記録する設定としました。 2021年4月よりAWS WAFでサポートされたラベルをフィルタ対象とする事も可能です。 AWS WAF がルールのカスタマイズとレポートを改善するためにラベルのサポー
「Pythonによるアクセスログ解析入門」の題目で「PyCon JP 2021」で発表しました - u++の備忘録
10月16日に「PyCon JP 2021」で発表しました。PyCon JP は日本最大級のPythonユーザが集まるイベントです。私はイベント自体が初参加で「Pythonによるアクセスログ解析入門」の題目で提出したプロポーザルが採択されました。 発表では、普段業務で扱っているWebサービスのアクセスログを題材に、PythonのPandasを用いたデータ解析の技法や数々の応用事例を紹介しました。Zoomでの発表時間30分も盛況で、Discordでの質問時間30分にも20名近くの方に残っていただき、さまざまな観点で質疑応答や議論をすることができました。オンライン発表ながら、多くの方々の反響を頂き、私自身もよい学びの機会となりました。 他の方の発表では、将棋棋士の谷合廣紀さんとPythonのコア開発者のブラントブーカーさんによるキーノートが共に大変面白く、これだけでも参加した価値があったと感じ
CloudTrail S3オブジェクトレベルログ、S3サーバーアクセスログ、どちらを使えば良いか？違いをまとめてみた | DevelopersIO
CloudTrail S3オブジェクトレベルログ、S3サーバーアクセスログ、どちらを使えば良いか？違いをまとめてみた CloudTrail データイベントのオブジェクトレベルのログ記録 | AWSドキュメント S3サーバーアクセスのログ記録 | AWSドキュメント 上記2つは両方とも S3オブジェクトに対しての操作を記録する 機能です。 「S3のログ記録機能」としては同じです。 どちらを使えばいいか、迷うことあると思います。 両者の違い、使い分けを整理してみました。 (以降 「CloudTrail データイベントのオブジェクトレベルのログ記録」を CloudTrail S3ログ 、 「S3サーバーアクセスのログ記録」を S3サーバーログ と呼びます) まとめ まずはじめに、まとめを載せます。 より安価なのは S3サーバーログ です。監査の参考やアクセスログ分析のために、まず検討しましょう
北海道テレビ放送株式会社：Google Cloud による放送アクセスログ分析で、放送業界全体が利益を創出できる仕組みを目指す | Google Cloud 公式ブログ
北海道テレビ放送株式会社：Google Cloud による放送アクセスログ分析で、放送業界全体が利益を創出できる仕組みを目指す 数多くの受賞歴を持つニュース・ドキュメンタリーやバラエティ番組、ドラマなど、さまざまな分野の番組制作や放送を通じ、「ユメミル、チカラ」を応援し、 地域の未来への貢献を目指す北海道テレビ放送株式会社（以下、HTB）。放送サービス向上の一環として、1 秒間に 100 万回のアクセスにも耐える放送アクセスログ分析システムを構築。HTB のネットデジタル事業担当者に、今回のシステム構築について話を伺いました。 利用している Google Cloud サービス：Cloud Functions、Cloud Pub/Sub、Cloud Dataflow、BigQuery、Cloud Datalab、Google データポータル BigQuery にアクセスログ データを蓄積して
はじめに AWSチームのすずきです。 ELB (Application Load Balancer:以下ALB) アクセスログは、接続元となるクライアント(ブラウザ等)と、接続先のターゲット(httpd等が稼働するEC2)のIPアドレスを確認することが可能です。 今回、アクセスログに含まれない ALBノードのIPアドレス、アベイアビリティゾーン単位での解析を実施する必要が生じたため、 アクセスログのファイル名よりALBノードのIPアドレス情報を取得し、ネットワークインターフェイス情報からアベイアビリティゾーンを求める機会がありましたので紹介します。 アクセスログ仕様 ALBのアクセスログの仕様は、2019年9月時点の公式ドキュメントを参考にしました。 Application Load Balancer のアクセスログ ログファイル ログファイル名に含まれる「ip-address」より、AL
大阪オフィスのYuiです。 ALBのアクセスログをS3に保存するということを初めてやってみたので手順をメモ＆せっかくなのでログの中身を読んでみたいと思います(｀・ω・´) やってみた ログを保存したいALBを選択し、説明タブの一番下の「属性の編集」をクリックする 「ロードバランサーの属性の編集」というウィンドウが表示されるので、「アクセスログの有効化」にチェックを入れる 「S3の場所」に作成したいS3のバケット名を入力し、「この場所の作成」にチェックを入れる 「保存」をクリックして作業完了！ S3からログを確認する ALBのアクセスログのディレクトリは以下のようになっています。 [バケット名]/AWSLogs/[AWSアカウントID]/elasticloadbalancing/region/yyyy/mm/dd/aws-account-id_elasticloadbalancing_reg
nginx でアクセスログを JSON フォーマットにする場合は「escape=json」を設定する - kakakakakku blog
nginx で nginx.conf に access_log と log_format を設定すると，ログフォーマットをカスタマイズできる．log_format のデフォルト設定は combined だけど，ログ集計などを考慮して，JSON フォーマットに変更する場面も多いと思う．例えば，以下のように log_format を設定すると，JSON フォーマットでアクセスログを出力できる． log_format json '{' '"time": "$time_local",' '"remote_addr": "$remote_addr",' '"host": "$host",' '"remote_user": "$remote_user",' '"status": "$status",' '"server_protocol": "$server_protocol",' '"request
はじめに 監査ログを調べると「いつ・誰が・何をしたか」を知ることができ、システムの運用が法規制、セキュリティ評価基準、社内規定等の監査基準に準拠していることを証明できる。内部統制の構築には欠かせないものと言えよう。 Windowsでは、監査ポリシーを設定するだけで、イベントログに監査ログを出力できる。 前提環境 本記事では Windows Server 2016 Datacenter で解説するが、すべてのエディションで使える。 Datacenter とは文字通りデータセンタ環境用のエディションだ。 仮想化により多数のサーバを運用する大企業や、大量のサーバを保有してデータセンタを運用する企業（＝クラウド事業者）向けのエディションである。 監査ポリシーの設定手順 ActiveDirectory環境下でドメインコントローラの監査をする場合と、ローカル環境下でファイルサーバなどの監査をする場合と
サマリー Webサイトの安全性は、サイバー攻撃の狙いを見抜く洞察力にかかっています。Loggol（ロゴル）は、Webアクセスログを自動的に解析し、隠された攻撃の足跡を発見します。あなたのサイトはいつ、誰に、どのように攻撃されているのでしょうか。 課題 Webサイトのアクセスログには、様々なセキュリティ的な情報が含まれています。しかしながら、これらのログを正しく分析せずに放置しているケースが多く見受けられます。その結果、未知の脅威やサイバー攻撃の兆候が見落とされる可能性があり、Webサイトのセキュリティを確保することが難しくなっています。また、分析を行っているシーンでも、Webのアクセスログ特有の圧倒的な量の前に、作業が追いつかない場合もあるでしょう。Loggolはこうした課題にアプローチし、Webアクセスログのセキュリティ分析を手軽に行うためのソリューションを提供します。 サービス内容紹介
コピペで使えるELBのアクセスログ解析による事象分析 (ShellScript, Athena) - hayashier Tech Blogs
ELBのアクセスログの事象分析について、ShellScriptとAthenaを用いた実行例についてまとめます。 NLBNo.1 : 最も多いリクエスト元のクライアントIPアドレスのリクエスト数$ gunzip -dc * | awk '{print $6}' | awk -F ":" '{print $1}' | sort | uniq -c | sort -r| head -n 10 No.2 : 時間毎のリクエスト数$ gunzip -dc * | awk '{print substr($3,0,13)}' | sort | uniq -c | awk '{print $2, $1}' No.3 : 分単位でのリクエスト数$ gunzip -dc * | awk '{print substr($3,0,16)}' | sort | uniq -c | awk '{print $2, $
Amazon CloudFront のアクセスログは、CloudFront が受け取るユーザーリクエストのすべてに関する詳細情報を提供します。本日から、お使いの CloudFront アクセスログに、コンテンツの配信に対する可視性を向上させるための 7 つの追加データフィールドが表示されるようになります。例えば、x-edge-detailed-result-type フィールドでは特定タイプのエラーを識別し、sc-range-start/sc-range-end の各フィールドではリクエストされた範囲の詳細を確認できます。これらの新しいフィールドは、以前のログファイル形式との後方互換性を維持するために、各ログエントリの最後に追加されます。7 つの新しいデータポイントは以下の通りです。 c-port – ビューワーからのリクエストのポート番号です。 time-to-first-byte –
Cloudflare R2 に HTTP アクセスログをプッシュして API で取得するまで | DevelopersIO
Cloudflare ではリクエストやイベントログを記録&保存する Logpush 機能をサポートしています。 ログ保存先として、以前は S3 をはじめとする サードパーティサービス のみサポートしていたのですが、今年 Cloudflare が GA した S3 互換のオブジェクトストレージ R2 に対しても、Cloudflare ダッシュボードまたは API 経由でログをプッシュできるようになっていたので試してみました。 今回はサンプルのウェブサイトの前段に Cloudflare CDN を設置し、訪問者の HTTP アクセスログを R2 にプッシュしてみます。また、保存されたログをダッシュボードと API で取得してみるところまでやってみます。 前提 Cloudflare CDN を有効化した静的サイトを準備済みです。 R2 バケットの準備 まずはログを保存する R2 バケットを作成し
こんにちは、hishinumaです。 今回はWindowsServerの共有フォルダのアクセスログの記録方法について紹介していきます。 WindowsServerの共有フォルダのアクセスログの記録方法 ■注意事項 ・この記事を参考に操作を行い、不具合が生じた場合も、自己責任でお願い致します。 ・監査設定を行ったフォルダのみアクセスログが出力されるようになります。 ・設定後イベントログの記録数が増えるためイベントログの記録数の見直しが必要となります。 ・最低限のアクセスログとなるため詳細なログ記録が必要な場合は有償のソフトウエアが必要です。 ■検証環境 WindowsServer2019 ■前準備[イベントログの保存期間の変更] イベントビューアを起動し[Windowsログ]項目内の[セキュリテイ]のプロバテイを開く チェックボックスを[イベントを上書きしないでログをアーカイブする]へチェッ
【Amazon CloudWatch Logs】ApacheのアクセスログをCloudWatch Logsへ収集する - サーバーワークスエンジニアブログ
今日も屋根裏からこんにちわ。 技術1課の折戸です。 春の訪れとともに屋根裏は気温がどんどん上昇しております。 そろそろエアコンを本格的に検討しなければ。 さて、今回はApachのアクセスログをAmazon CloudWatch Logs （以下、CloudWatch Logs）へ収集する方法をご紹介します。 Amazon CloudWatch Logs とは 前提条件 EC2 に CloudWatch Logs へのログ出力権限 付与 IAM Role 作成 IAM Role を EC2 へアタッチ CloudWatchエージェント インストール EC2へCloudWatchエージェント インストール インストール 確認 戻り値 CloudWatchエージェント設定ファイル 作成 ウィザードを使用して設定ファイル 作成 設定ファイル確認 CloudWatchエージェント 起動 起動 ※エラ
[初心者向け]Application Load Balancerのアクセスログを、Amazon Athenaで色々なクエリを実行し分析してみた | DevelopersIO
[初心者向け]Application Load Balancerのアクセスログを、Amazon Athenaで色々なクエリを実行し分析してみた はじめに ALBのアクセスログを分析したい場合、利用するAWSサービスとしてAthenaが挙がると思います。 Athenaをあまり使ったことがなかったので、利用する手順をまとめました。 また、ALBのアクセスログを分析する上で、使うことが多いであろうクエリもご紹介します 事前準備 アクセスログ用のS3とALBを作成 ALBのアクセスログを有効にしておく 有効化がDenyとなった場合、トラブルシューティングは、以下の記事を参考になるかと思います。 Athenaのクエリの保存先を設定 AWSマネジメントコンソールからAthenaにアクセスし、[データをクエリする]から[クエリエディタを起動]をクリックします。 最初のクエリを実行する前に、AmazonS
![[初心者向け]Application Load Balancerのアクセスログを、Amazon Athenaで色々なクエリを実行し分析してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e74dfc28e3f87861a3abf7b0257ff46d1c1a0f04/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Famazon-athena.png)
2023-10-18 JAWS-UG SRE⽀部 #7 AWSでゆるSRE︕LT⼤会 https://jawsug-sre.connpass.com/event/291843/
AWS ELB アクセスログを Datadog Logs に転送するシンプルな方法 w/Datadog Forwarder - アイリッジ開発者ブログ
はじめに プロダクト開発部の井口です。 私たちのプロダクトでは、システムを監視するための仕組みとして Datadog という SaaS を導入しています。 クラウドインフラにおけるログの一元的なモニタリング環境の整備を進めているのですが、今回はタイトルにもあるように AWS ELB アクセスログの転送方法をご紹介します。 Datadog のセットアップ Integration のインストール 左メニューの Integrations -> Integrations から Amazon Web Services をインストールします。 詳細はDatadog 公式リファレンスにおける Setup を参照してください。 API Key の発行 左メニューの Integrations -> APIs を開いてください。 API Keys の New API key に一意な名称を入力し、Create
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
コマンド一発でウェブサイトのアクセスログをターミナルやウェブブラウザで可視化できる「GoAccess」レビュー
2020年9月26日CloudFront障害中のアクセスログを調査してみた | DevelopersIO
今すぐ ALB のアクセスログをクエリする - クックパッド開発者ブログ
アクセスログでGooglebotのクロール分析 - asoview! Tech Blog
ALBのアクセスログをS3に保存してライフサイクルを設定する | DevelopersIO
Amazon AthenaでIPレンジを使ってアクセスログを集計したい - hitode909の日記
「結局アクセスログってどれくらい保存しておけばいいの？」に答える関係法令 - Qiita
Deno Deployでアクセスログ【Deno KV】 - Qiita
S3のサーバーアクセスログから、接続失敗ログを洗い出す | DevelopersIO
Webサーバーのアクセスログをスクリプトで解析してみた(続き) - Qiita
AWS WAFのアクセスログ記録でフィルタリング処理が可能になりました | DevelopersIO
ALBのアクセスログにアベイアビリティゾーン情報を追加してみた | DevelopersIO
ALBのアクセスログをS3に保存して中身を読み解いてみる | DevelopersIO
ファイルサーバのアクセスログをPowerShellで取得する - Qiita
Loggol(ロゴル): Webアクセスログのセキュリティ分析
Amazon CloudFront がアクセスログに 7 つの新しいデータフィールドを提供
WindowsServerの共有フォルダのアクセスログを記録する設定方法｜株式会社ネットアシスト
ALBのアクセスログをAthenaで分析してSLOをゆるく決める
news.denfaminicogamer.jp
shonenjumpplus.com
mami-chouchou.com
himado.in
togetter.com
brothertsite.wordpress.com