どうも、森です。 AWSにはログを分析するための方法が様々ありますが、Athena,CloudWatch Logs Insightsをどう使い分ければ良いのか考える機会がありましたので執筆したいと思います。果たして結論は出るのか？？？ 各サービスについて どちらもサーバーレスな環境で、インフラストラクチャの設定や管理は不要です。 Athena,CloudWatch Logs Insightsについてドキュメントを参考にし、簡単にまとめてみました。 Athena Amazon Athena は、標準 SQL を使用して Amazon Simple Storage Service (Amazon S3) でのデータの直接分析を簡易化するインタラクティブなクエリサービスです。AWS マネジメントコンソールでいくつかアクションを実行するだけで、Athena にデータの保存先の Amazon S3

はじめに AWSチームのすずきです。 ELB (Application Load Balancer:以下ALB) アクセスログは、接続元となるクライアント(ブラウザ等)と、接続先のターゲット(httpd等が稼働するEC2)のIPアドレスを確認することが可能です。 今回、アクセスログに含まれない ALBノードのIPアドレス、アベイアビリティゾーン単位での解析を実施する必要が生じたため、 アクセスログのファイル名よりALBノードのIPアドレス情報を取得し、ネットワークインターフェイス情報からアベイアビリティゾーンを求める機会がありましたので紹介します。 アクセスログ仕様 ALBのアクセスログの仕様は、2019年9月時点の公式ドキュメントを参考にしました。 Application Load Balancer のアクセスログ ログファイル ログファイル名に含まれる「ip-address」より、AL

ALBのアクセスログを Lambdaを利用して CloudWatchLogsに転送し、CloudWatch Logs Insights で分析してみました。 AWSチームのすずきです。 ALBのELB 5XX発生時の解析のため、アクセスログをパース、CloudWatch Logsに転送するLambda関数を用意。 Amazon CloudWatch Logs Insights で可視化する機会がありましたので、紹介させていただきます。 Lambda パーサー Python 3.7 のランタイム、「re」正規表現モジュールを利用しました。 import re RE_TEXT = r""" ^(?P<type>[^ ]*)\u0020 (?P<time>[^ ]*)\u0020 (?P<elb>[^ ]*)\u0020 (?P<client_ip>[^ ]*):(?P<client_port>

概要 タイムアウトと一口に言ってもサーバ・クライアント、そして各フェーズによって細かく設定があります。 今回はGoのnet/httpのtimeoutについて１つ１つ説明していきます。 環境 golang/go 1.13 Server 全体図 サーバ系timeoutと各フェーズは以下の関係になっています。 各項目 項目 役割 http.Server.ReadHeaderTimeout request headersを読む際のtimeout http.Server.ReadTimeout request headersやrequest bodyを読む際のtimeout。 SetReadDeadline()を呼び出してセットする。 http.Server.WriteTimeout request bodyの読み込み〜responseの書き込みまで。 SetWriteDeadline()を呼び出し

こんにちは！ Mackerelディレクターの id:daiksy です。 Mackerelの5周年をユーザーの皆さんとお祝いするために、12月23日(月)にイベントを開催することになりました！！ これまで、Mackerelを支えてくださったユーザーを代表するスピーカー陣によるトークや、MackerelアンバサダーによるLT、美味しいお食事などをご用意してお待ちしております。 ぜひ下記募集サイトからご登録いただき、当日遊びにいらしてください！ ノベルティなども鋭意準備中です！！ mackerelio.connpass.com ちなみに、今年のアドベントカレンダーも受付中です！ぜひこちらもあわせてご参加ください！！ qiita.com