CloudWatch Logsからフィルターした特定ログをいい感じにまとめてメール送信してみた | DevelopersIO
EventBridge Pipes版 1つ目に紹介するのが、融通はきかないけれども、シンプルな設定でいい感じに動いてくれるEventBridge Pipes版です。 構成図 CloudWatch Logsの特定ログをSQSに送信 CloudWatch Logsのロググループに対してサブスクリプションフィルターを設定し、特定ログをLambda関数経由でSQSにキューイングします。 Lambda サブスクリプションフィルターの設定では Log format : Space Delimited Subscription filter pattern : ERROR のように設定すると、ERROR の文字列を含むログに対して、ターゲット指定したLambda関数を呼び出せます。 Lambda 関数のサンプルです。 import base64 import gzip import json impor
【Amazon CloudWatch Logs】ApacheのアクセスログをCloudWatch Logsへ収集する - サーバーワークスエンジニアブログ
今日も屋根裏からこんにちわ。 技術1課の折戸です。 春の訪れとともに屋根裏は気温がどんどん上昇しております。 そろそろエアコンを本格的に検討しなければ。 さて、今回はApachのアクセスログをAmazon CloudWatch Logs （以下、CloudWatch Logs）へ収集する方法をご紹介します。 Amazon CloudWatch Logs とは 前提条件 EC2 に CloudWatch Logs へのログ出力権限 付与 IAM Role 作成 IAM Role を EC2 へアタッチ CloudWatchエージェント インストール EC2へCloudWatchエージェント インストール インストール 確認 戻り値 CloudWatchエージェント設定ファイル 作成 ウィザードを使用して設定ファイル 作成 設定ファイル確認 CloudWatchエージェント 起動 起動 ※エラ
CloudWatch Logs を文字列検知してログ内容をメールを送信してみた サブスクリプションフィルター版 | DevelopersIO
こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな吉井 亮です。 アプリケーションや OS のログファイルから特定の文字列をマッチし メール等で担当者へ通知する運用はクラウドにおいても必要です。 今回は CloudWatch Logs に出力しているログファイルから サブスクリプションを使用して特定文字列マッチを行い、SNS で通知する方法を試してみます。 2021年4月13日 更新 Lambda 関数の Python コードを修正しました。 以前のコードですと複数回イベントが発生した際に初回イベントしか通知されないと問題がありました。 ループ処理を加えることより複数回のイベントを取得できるように修正しました。 以前のコードをご利用頂いている方は大変お手数ですがコード修正をお願いします。 構成 ログの流れは以下の通りです
CloudWatch Logsでの特定文字列の検知時の通知をメトリクスフィルターで実装してみた | DevelopersIO
こんにちは、CX事業本部 IoT事業部の若槻です。 今回は、Amazon CloudWatch Logsでの特定文字列の検知時の通知をメトリクスフィルターで実装してみました。 メトリクスフィルターとは CloudWatch Logsのロググループに対してメトリクスフィルターを作成することにより、ログデータの語句やパターンをフィルターしてメトリクスを発行することができます。 フィルターを使用したログイベントからのメトリクスの作成 - Amazon CloudWatch Logs これにより、例えばLambda関数で特定のエラーでは特定の文言をログに書き込むという実装をしている場合に、エラーによって通知のフィルターや通知先の振り分けができるようになります。 やってみた マネジメントコンソールから作成を行ってみます。 下記のような構成のうちメトリクスフィルターとCloudWatch Alarmア
Amazon S3とCloudWatch Logsのログ保存料金とサイズを見てみた | DevelopersIO
いわさです。 EC2のログファイルを外部に転送したいケース多いと思います。 色々な方法が考えられると思いますが、CloudWatchエージェントを使ってCloudWatch Logsへ転送する方法があります。 さらに、サブスクリプションフィルターを使ってKinesis Firehoseを経由してS3へ転送させることも出来ます。 CloudWatch Logsで保管し続けることも出来ますが、S3へ保管してCloudWatch Logsは短期間で削除するとコスト的に良さそうなイメージがあります。 実際は、上記記事でも紹介のあるように、CloudWatch Logsは高いイメージがあるかもしれませんが、高いのはCloudWatch Logsへの転送部分であって、保存料金はS3と大きく変わりません。 AWS Pricing Calculatorで計算してみた そして、どれくらい変わるのかをAWS
CloudWatch Logs を定期的にS3 へ転送する | Oji-Cloud
概要 今回は、CloudWatch Logsのサブスクリプションフィルターを使用して、CloudWatch Logs のログを定期的にS3 へ転送します。 CloudWatch Logs のログをS3 へ転送する方法は、以前こちらで紹介したCloudWatch Logsのエクスポート機能を利用する方法もあります。しかし、エクスポート機能で実現する場合は、エクスポートのタスクを定期実行するために Lambdaが必要になること、そして、同時に複数のエクスポートタスクを実行できない仕様です。そのため、CloudWatch Logsのエクスポート機能に代わる方法が良いと思います。 また、コストの観点であれば、CloudWatch Logs のデータ取り込み（例: 東京リージョン 0.76USD/GB）、S3 のPUT（例: 東京リージョン 0.0047USD/1,000リクエスト）にそれぞれ料金が
CloudWatchAgentでロググループの保持期間の設定が可能になったのでやってみた | DevelopersIO
お久しぶりです。AWS事業本部コンサルティングの後藤です。去年の10月頃から休職しており、久々のブログ投稿になります。 2月25日にCloudWatchAgentのアップデートでログの保持期間を設定できるようになったようなので、試してみました。 今までCloudWatchAgentでOS内のログをCloudWatchLogsに収集して何かする時、毎回CloudWatchLogsのロググループに対してログの保持期間を設定する必要がありましたが、今回のアップデートでその手間が無くなるという地味ですが自動化等をしている人には嬉しい機能になります。 では、やっていきましょう！ CloudWatchAgent取得 今回はEC2、AmazonLinux2を使用して試しています。 最新のアップデート機能を使用するため、S3から最新版のCWAgentを取得します。 # wget https://s3.am
Amazon ECSのログストリームを見やすく階層的に整理できるawslogs設定 - Hatena Developer Blog
こんにちは。SREのid:do-su-0805です。普段はid:do_su_0805として生活しています。 この記事では、Amazon ECS（以下、ECS）でコンテナを動かすとき、ログドライバーとしてawslogsを利用してAmazon CloudWatch Logs（以下、CloudWatch Logs）にログを出力する際に、awslogs-stream-prefixというパラメータには何を設定するとよいかについて考察します。 結論から言うと、このパラメータに「コンテナのイメージタグ」を入れるようにしたところ、出力されるログストリームの/区切りの階層が見やすくなり、ログが世代別に扱いやすくなったよ、というお話です。 ECS＋CloudWatch Logs構成時のロググループとログストリームについて どのようなログストリームが構成されがちかを事例から考えてみる awslogs-strea
Mackerelのプラグイン check-aws-cloudwatch-logs-insights を使ってログ監視をしてみた | DevelopersIO
今年の6月にMackerelエージェントのチェックプラグイン check-aws-cloudwatch-logs-insights が正式にリリースされました。 check-aws-cloudwatch-logs-insights は CloudWatch Logs Insights の API を使ったログ監視のためのプラグインです。 元々 CloudWatch Logs のプラグインとして check-aws-cloudwatch-logs がありましたが、流量の多いロググループを対象とすると読み込みに時間がかかりタイムアウトが発生することがございました。 check-aws-cloudwatch-logs-insights では CloudWatch Logs Insights の API を使うことによって、流用の多いロググループであっても正常に監視できるようになっています。 本ブ
CloudWatch LogsのログデータをKMSで暗号化する | DevelopersIO
Amazon CloudWatch Logsのログは、保管時も転送中も暗号化されます。コンプライアンスとセキュリティを強化するためにAWS Key Management Service (AWS KMS)を利用して、保管時のロググループを暗号化する方法を紹介します。 はじめに Amazon CloudWatch Logs は、PCI および FedRamp に準拠しており、データはデフォルトで保管時も転送中も暗号化されます。 コンプライアンスとセキュリティを強化するために、AWS KMS 暗号化を使用してログのグループを暗号化する方法を紹介します。 ポイント CloudWatch Logsはデフォルトで暗号化されている コンプライアンス、セキュリティ強化のために、AWS KMS CMKで暗号化することも可能 CloudWatch LogsにCMKの暗号・復号を許可 KMS暗号を有効にして取
Elastic Beanstalk 環境で CakePHP のログを CloudWatch Logs で収集する
はじめに 統合された CloudWatch エージェントを使ったサンプルが少なかったので備忘録。 CloudWatch Logs の開始方法 - Amazon CloudWatch Logs 戦略 postdeployフックを使用して既存の設定を上書き、エージェントを再起動させる力技。 .platform/hooks/postdeploy ├── 000-cakephp.sh ├── 001-fix_cloudwatch_agent_conf.php └── 002-restart_cloudwatch_agent.sh #!/bin/bash set -eu LOGS_DIR="/var/app/cake/logs" LOGS_LINK_DIR="/var/app/current/logs" TMP_DIR="/var/app/cake/tmp" TMP_LINK_DIR="/var/a
【小ネタ】CloudWatch Logsの料金が高かったのでAWS CLIを使って調査した話 | DevelopersIO
西澤です。CloudWatch Logsは非常に便利で強力なサービスですが、ログ量が多くなる場合は課金に注意が必要です。今回AWS CLIで調査する機会があったので、その際の対応について簡単にまとめておきます。 CloudWatch Logsの料金(おさらい) 2020年2月時点での東京リージョンでのCloudWatch Logsの利用料金は以下のとおりです。 バージニアリージョンの料金が記載されているとの指摘を受けまして、下記料金を東京リージョンの最新の料金情報に合わせて訂正いたしました。大変申し訳ありません。 $0.76 : 取り込み GB あたり $0.033 : GB あたりのアーカイブ/月 料金 - AWS CloudWatch | AWS エクスポート時のデータ転送料金は置いておくと、"アーカイブ"の方はS3料金と大差がありませんが、問題となるのは"取り込みGBあたり"のところ
Auth0のイベントログをAmazon CloudWatchに出力してみた | DevelopersIO
こんにちは、CX事業本部の若槻です。 認証管理プラットフォームAuth0では、テナント管理者による操作、Management APIの利用、ユーザーによる認証などのイベントログが既定でAuth0上に記録されますが、このログの保持期間はプランによって最短1日から最大30日とかなり短いです。 Pricing - Auth0 そのため、このAuth0のイベントログを外部に退避させる方法として、Amazon CloudWatchに出力できるExtensionが公式提供されています。 Export Logs to CloudWatch 今回は、上記Extensionを使用し、Auth0のイベントログをAmazon CloudWatch Logsに出力してみました。 やってみた ログ出力先 Logs group および stream の作成 % LOG_GROUP_NAME=/auth0/dev-te
SAP、ZabbixからOffice365 SMTPサーバ経由でメールを送信するには | BeeX Technical Blog
鈴木です。最近、AWS CloudWatchだけで多額の費用を発生させてしまいました。AWS CloudWatchのログは、保存されているログの容量に対してだけではなく収集した量に対しても費用がかかります。費用は東京リージョンで以下の通りです。 保存 0.033 USD / GB / 月 収集 0.76 USD / GB 収集の費用は23か月保存の費用に相当します。大量のログをCloudWatchに集約したいけど費用を抑えたいから保存期間を短くしよう、などと考えても、意外と費用を抑えられないかもしれないので、この料金体系には要注意です。 収集したログ容量の推移CloudWatchが取り込んだログの量の日次推移をawscliで調べる方法です。保存している容量ではなく、収集したトラフィック量です。 $ aws cloudwatch get-metric-statistics --namespa
CloudWatch Logsの保持期間をAWS Configでチェックして自動設定する | DevelopersIO
CloudWatch Logsは様々なログを格納することができて便利ですが、デフォルトでは保持期間が設定されません。 無駄なコストを抑えるために保持期間を「AWS Config」でチェックして、保持期間が設定されていなければ通知＆自動設定してみたいと思います。 AWS Configのルール作成 最初にAWS Configのコンソールから、CloudWatch Logsの保持期間をチェックするルールを作成します。 ログの保持期間をチェックするルールはAWSから提供されています。 検索ボックスで「cw-loggroup」などで検索して、該当のルール「cw-loggroup-retention-period-check」を選択してください。 必要に応じて名前や、トリガー、パラメーターを設定してください。トリガーの頻度（チェックする間隔）は「1時間」「3時間」「6時間」「12時間」「24時間」から
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
