AWS WAF でブロックされたリクエストを確認する方法を教えてください | DevelopersIO
困っていた内容 ALB（Application Load Balancer）に AWS WAF の WebACL を適用しています。 WAF によってブロックされたリクエストを調査したいのですが、どのようにすれば確認できますか？ どう対応すればいいの？ ALB のアクセスログを確認しましょう。 以下の値が記録されているリクエストは、WAF によりブロックされたと判断できます。 ① ～ ③ それぞれの意味について解説します。 ① "elb_status_code" が "403" WAF でブロックされていた場合、ALB のステータスコードは 403(Forbidden)になります。 ② "target_status_code" が "-" WAF でブロックされた場合はターゲット（サーバー）へリクエストが到達しないため、ターゲットのステータスコードは "-" と記録されます。 ③ "act
【アップデート】Lambda Extensionsのオブザーバビリティをさらに強化するTelemetry APIが利用可能になりました | DevelopersIO
パット見た感じplatform.initxxxというイベントが増えていそうですね。 実際にPOSTされるデータのサンプルをいくつか紹介しておきます。 typeがplatform.initStartの場合 { "time": "2022-10-12T00:00:15.064Z", "type": "platform.initStart", "record": { "initializationType": "on-demand", "phase": "init", "runtimeVersion": "nodejs-14.v3", "runtimeVersionArn": "arn" } } Provisioned Concurrencyの利用有無やランタイムの情報がPOSTされてきます typeがfunctionの場合 { "time": "2022-10-12T00:03:50.000Z
AWSでログを保存する時の選択肢とコスト
背景 AWS上で複数のEC2インスタンスからなるサービスを構築する時、必ずログを生成・保存すると思います。それは例えばWebサーバーのアクセスログだったり、アプリケーションの動作ログ、エラーログなどです。 で、もっとも初歩的な方法としては単純に各サーバーインスタンスでログ保存して、各々でログをローテートする方法があり、これだとLinuxの初期設定から特にいじる必要はないです。 ただ、ログがあちこち分散しているよりは1箇所に集まってくれてる方が後から読みやすいですし、ログの管理も楽なので、どういうやり方があるか調査しました。 コストに関しては注意深く算出したつもりですが、もし間違いがありましたらコメントいただけると助かります。 また、この記事の内容からログサービスを選定して想定より大きな請求が来たとしても、責任は負えませんので悪しからずです。 ログ保存の選択肢 各インスタンス上でSyslog
Amazon API Gatewayのレスポンスサイズをモニタリングしてみた | DevelopersIO
Amazon API Gateway(REST)でレスポンスサイズをモニタリングしたい場合、 API Gatewayのアクセスログを有効にし、 Logs Insightsで $context.responseLength をパースしましょう。 レスポンスサイズの分布やレスポンスサイズがペイロード上限に抵触していないことを簡単にモニタリング出来ます。 やってみた それでは、API Gatewayのレスポンスサイズを取得してみましょう。 1. API Gatewayのアクセスログを有効化 API Gatewayのコンソールにおいて、Stages → Logs/Tracing からアクセスログを有効にします。 レスポンスサイズは $context.responseLength です。 今回は パースしやすいように、JSON形式で出力します。 { "requestId":"$context.req
Amazon SNSのSMS配信のロギングを有効にしてみた | DevelopersIO
こんにちは、CX事業本部 IoT事業部の若槻です。 今回は、Amazon SNSのSMS配信のロギングを有効にして、配信ログを確認してみました。 既定で記録されるログ情報では詳細な情報が分からない Amazon SNSのSMS配信のログは既定では配信の成功数と失敗数のメトリクスが記録されます。 しかしそれ以上の情報は記録されないため、例えば配信が届かないとユーザーから連絡があった際に原因調査を行おうとしても「どの電話番号への配信が、どのような理由により失敗したのか？」までは追跡できません。 やってみる そこで、下記のドキュメントを参考にAmazon SNSのSMSメッセージの配信ログのロギングを有効にしてみます。 SMS メッセージの Amazon SNS トピック配信ログにアクセスする ロギングを有効にする Amazon SNSのコンソールで、[Text messaging (SMS)]
AWS DataSync タスクのログ設定違いと、タスク実行エラーの検知方法を確認してみた | DevelopersIO
AWS DataSyncを利用しエージェントが不要なリソース間でのデータ転送していました。タスクにエラーが起きてタスクが失敗した際に有用そうな設定は何か気になったので確認してみました。 タスクのログ設定が2種類あったので出力結果の違いを見比べてみます。その後、タスクでエラーが起きた際の通知方法を試してみます。 AWS DataSync がファイルレベルのロギングでモニタリング機能を強化 検証環境 本記事のDatasSyncのタスク設定は東京リージョン（ap-northeast-1）にあるEFSのデータを大阪リージョン（ap-northeast-3）にあるS3へデータを同期しています。 以下のリンクで作成した環境です。 ログ設定 DatasSyncのタスク設定で出力するログレベルをBasicか、Allを選択できます。 Log all transferred objects and files
S3 の サーバーアクセスログを有効したがログが記録されないときの対処方法 | DevelopersIO
困っていた内容 S3 で サーバーアクセスログを有効にしました。ログが記録されるまで数時間がかかるとドキュメントに書いてあったので、丸一日時間をおいてアクセスしましたがいくら待ってもログが記録されません。 ログを記録するにはどうしたら良いでしょうか。 Amazon S3 サーバーアクセスログを有効にします。 - Amazon Simple Storage Service サーバーアクセスのログ記録を有効にすると、ログがターゲットバケットに配信されるまでに数時間かかることがあります。 どう対応すればいいの? ログの出力先バケットで次の条件を満たしているか確認してください。 「デフォルトの暗号化」が無効、もしくは有効でかつ Amazon S3 マスターキーになっている 「オブジェクトロック」が無効になっている 「アクセスコントロールリスト」で「S3 ログ配信グループ」のアクセスを許可している
Vector を Amazon Linux 2 で使ってみた | DevelopersIO
こんにちは、望月です。 Vector が僕の周りで流行っているので試しにインストールをしてみました。 Vector - A lightweight and ultra-fast tool for building observability pipelines | Vector Vector とはログ収集ツールとなり、同じようなツールとして Fluentd が有名かと思います。最近開発された Rust で作られているツールでシンプルで軽く、これからが楽しみなツールです。 今回は Apache のアクセスログを CloudWatch Logs とS3 への出力をやってみました。 やってみた 導入環境 EC2 インスタンス (Amazon Linux 2) Instance type: t3.micro AMI ID: amzn2-ami-hvm-2.0.20210617.0-x86_64-g
[AWS CDK] API Gatewayのログ出力を有効にしてCloudWatch Logsでログを確認してみた | DevelopersIO
こんにちは、CX事業本部の若槻です。 Amazon API Gatewayでは、REST APIのログをCloudWatch Logsに記録することが可能です。 API Gateway での CloudWatch による REST API のログの設定 - Amazon API Gateway 今回は、AWS CDKでAPI Gatewayのログ出力を有効にしてCloudWatch Logsでログを確認してみました。 確認してみた API Gatewayのログにはアクセスログと実行ログの2種類があります。AWS CDKではいずれもRestApiのdeployOptions内で出力の設定を行います。 import * as apigateway from '@aws-cdk/aws-apigateway'; import * as logs from '@aws-cdk/aws-logs';
![[AWS CDK] API Gatewayのログ出力を有効にしてCloudWatch Logsでログを確認してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/99c41667622f490e8ae3439387d88dc411a3b9b7/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-api-gateway.png)
ALBとEC2間をHTTPS通信させてApacheのアクセスログから接続元のクライアントIPを取得する | DevelopersIO
こんにちは、岩城です。 ALBとEC2間をHTTPS通信させるかどうかの議論は置いておき、下図のような環境でEC2上のApacheのアクセスログから接続元のクライアントIPを取得する機会がありましたので紹介します。 やってみた /etc/httpd/conf.d/ssl.confに以下のようなX-Forwarded-Forを含めたLogFormatを追記します。 LogFormat "%{X-Forwarded-For}i %h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-agent}i\"" Apacheが停止している場合は起動します。 systemctl start httpd.service 既にApacheが起動している場合は設定ファイルを再読み込みします。 systemctl reload httpd.service /var/
AutoScallingのライフサイクルフックを使用してスケールイン時にEC2インスタンス内のログを退避させる | DevelopersIO
はじめに こんにちは。大阪オフィスの林です。 EC2 AutoScalling環境下でEC2インスタンスがターミネートする際のログ退避についてライフサイクルフックを使用したアーキテクチャーを検討したのでまとめておきたいと思います。 今回検討したアーキテクチャーはザックリ下図のイメージです。 よくあるログ管理（退避）のアーキテクチャとして、CloudWatchAgentを使用しCloudWatchLogsにログを転送し、Kinesisを挟んでS3に転送するといった方法もありますが、CloudWatchLogs自体の料金がネックとなり採用を見送るケースもあったりします。かと言ってOS上で定期的な間隔でログ転送バッチを回したりするのも良いのですが、その定期的な間隔とEC2インスタンスのターミネートのタイミング次第では直近のログが欠陥してしまうことも十分考えられます。今回のアーキテクチャはその折衷
CloudWatch エージェント設定ファイルを手動で作成または編集する - Amazon CloudWatch
CloudWatch エージェント設定ファイルは、agent、metrics、logs、traces の 4 つのセクションを持つ JSON ファイルです。各セクションは以下の通りです。 agent セクションには、エージェントの全体的な設定に関するフィールドが含まれています。 metrics セクションでは、収集と CloudWatch への発行に関するカスタムメトリクスを指定します。ログを収集するためだけにエージェントを使用している場合は、ファイルから metrics セクションを省略できます。 logs セクションでは、CloudWatch Logs に発行されるログファイルを指定します。サーバーで Windows Server が実行されている場合、これには Windows イベントログからのイベントが含まれることがあります。 traces セクションでは、収集されて AWS X-
【祝GA】 Lambda ExtensionsでLambdaのログをGCPのCloud Loggingに送信してみた | DevelopersIO
CX事業本部@大阪の岩田です。先日Lambda ExtensionsがGAされました(東京リージョンはまだですが)。Lambda ExtensionsはLambdaのモニタリング、可観測性、セキュリティ、ガバナンスのための運用ツールをLambdaに統合する機能で、Lambda実行環境のライフサイクルと連動して外部のサードパーティ製品に直接ログやメトリクスを送信するといったことが可能です。 パブリックプレビュー自体は半年以上前から利用できる状態だったのですが、これまでちゃんと触れていなかったので自分の理解を深めるために簡単なExtensionを実装してみようと思い立ちました。何を作るか考えたのですが、今回はLambdaのログをGCPのCloud Loggingに送信するExtensionを作ることにしました。なおLambdaのランタイムにはPython3.8を利用しています。 Lambda
AWS Systems Manager Session Managerのシェル操作をログ出力する ｜ DevelopersIO
AWS Systems ManagerのSession Manager for Shell Accessを利用するとSSH/RDPなしにブラウザ、及び、CLIからEC2インスタンスにシェルアクセスできます。 SSH不要時代がくるか!?AWS Systems Manager セッションマネージャーがリリースされました! ｜ Developers.IO AWS Systems Manager Session Manager for Shell AccessでMacからLinux EC2インスタンスに端末でアクセスする ｜ Developers.IO New – AWS Systems Manager Session Manager for Shell Access to EC2 Instances | AWS News Blog 本ブログではこの機能を利用した操作履歴をログ出力する方法をご紹介
Apacheを使用している場合、ロードバランサを経由したクライアントのパブリックIPアドレスのログを取ります
ウェブサーバーで Elastic Load Balancing (ELB) を使用しています。ロードバランサーの IP アドレスはウェブサーバーのアクセスログで確認できます。代わりにクライアント IP アドレスをキャプチャする方法を教えてください。 簡単な説明 ウェブサーバーのアクセスログにロードバランサーの IP アドレスがキャプチャされるのは、ロードバランサーがインスタンスへの接続を確立するためです。ウェブサーバーのアクセスログでクライアント IP アドレスをキャプチャするには、次のように設定します。 HTTP/HTTPS リスナーを使用する Application Load Balancer と Classic Load Balancer の場合、X-Forwarded-For HTTP ヘッダーがクライアントの IP アドレスをキャプチャします。その後、これらの IP アドレスを記
Amazon SESのメール送信ログを記録する - サーバーワークスエンジニアブログ
こんにちは。 SRE2課の島村です。 最近、気温が下がってきて寒くなってきましたね。 乾燥もしてきたので、外出する際はのど飴を欠かさず出かけています。 さて、今回はAmazon SESを使ってメール送信した際に送信ログ方法を紹介します。 実はAmazon SESでメールを送信した際に、Amazon SESだけではメールの送信履歴を 記録することができません。 Amazon Kinesis Data FirehoseとAmazon Elasticsearch Serviceと組み合わせて使用することでメールの送信履歴を記録することができます。 今回のブログではAmazon SESでメール送信履歴を記録するまでのセットアップ手順を紹介していきます。 前提 ・Amazon SESでドメインをセットアップし、メールを送信できるようにしておく。 以下のドキュメントが参考になると思います。 docs.
Amazon SES の E メール送信履歴の保存と表示
Amazon Simple Email Service (Amazon SES) でE メール送信履歴を確認したいと考えています。 解決策 Amazon OpenSearch service と Amazon Kinesis を使用して、Amazon SES の送信履歴を保存および表示します。 Amazon OpenSearch Service ドメインを作成する Amazon SES の送信履歴を保存するには、Amazon OpenSearch Service ドメインを作成します。OpenSearch Service は、パブリックネットワーク、または Amazon Virtual Private Cloud (Amazon VPC) に配置できます。OpenSearch Service ドメインに使用するネットワークのタイプの詳細については、「VPC 対パブリックドメイン」を参照して
Lambda@Edge 関数のログが見つからないときの対処方法 | DevelopersIO
困っていた内容 Lambda@Edge をバージニア北部（us-east-1）リージョンにデプロイしましたが、ログが CloudWatch Logs へ出力されないです。 正常にログを出力させる方法を教えてください。 どう対応すればいいの？ Lambda@Edge のログは CloudWatch Logs へ出力されますが、関数が実行される場所にもっとも近いリージョンに保存されます。 日本から CloudFront へリクエストを送信した場合、ログは東京リージョンに作成された可能性が高いです。まずは東京リージョンの CloudWatch Logs でロググループを確認してみてください。 ロググループは以下の形式で出力されます。 /aws/cloudfront/LambdaEdge/DistributionId CloudWatch Logs コンソールのロググループで /aws/cloud
Amazon SES でのメール送信ログを表示する - DENET 技術ブログ
こんにちは。SRE 課の栩野です。 先日、Amazon SES からのメールを正常に配信することが出来ない事象があり 失敗の原因を特定するため、メールの送信ログを可視化する設定を行ってみたので その設定方法を今回ブログのネタにします。 以下のサイトと動画を参考にしています。 Amazon SES で E メール送信履歴を表示するにはどうすればよいですか ? Amazon SES でメールの送信履歴を保存する方法を教えてください。(動画) 送信ログを表示するための設定 それでは、実際にメールの送信ログを可視化するための設定手順を説明していきます。 Amazon SES には既にドメインもしくはメールアドレスの設定は完了している前提で進めていきます。 Amazon SES 単体ではメールの送信ログを確認する方法が提供されていないため 今回ログの保存先に Amazon Elasticsearch
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
my notes | my notes