既存の Aurora MySQL 互換クラスターの監査ログを有効化し CloudWatch Logs に出力して CloudWatch Logs Insights でログを抽出する（クエリする）方法 | DevelopersIO
コーヒーが好きな emi です。 どんなシステムでも、何かあったときの調査・トラブルシューティングのために各種ログは保存されていると思います。しかし、「ひとまずログはとっているけど、何かあったときに確認する方法がわからない……」となると困ります。 本ブログでは Aurora MySQL 互換クラスターの監査ログに焦点をあて、 既存の Aurora MySQL 互換クラスターの監査ログを有効化し CloudWatch Logs に出力する方法 CloudWatch Logs Insights でログを抽出する（クエリする）方法 を記載します。 検証環境 以下のような環境で検証します。 EC2 インスタンスから mysql コマンドで Aurora MySQL にログインしたりクエリを発行したりして MySQL を操作します。 項目 詳細
個人的AWS ログ管理のベースライン - mazyu36の日記
AWSのログ管理についてはいくつか考えるポイントがあると思います。 どのログを保存するか。 CloudWatch Logs（以下CW Logsと記載）とS3のどちらに保存するか、もしくは両方に保存するか などなど。 システムの特性によるところも多いかと思いますが、自分の中でのログ管理のベースラインが定まりつつあるので、頭の整理がてらまとめます。 自分の中での大まかな方針としては以下です。 S3に保存できるものは基本S3に保存する。 以下の場合は、CW Logsに保存する。必要に応じてS3に転送する。 アラームを出したい場合 さっとCW Logs Insightでログを確認したい場合 CW Logs に出さざるを得ない場合 全体像としては以下になります。 なおあくまで個人的な経験に基づくものなので、実際にはシステムの特性を踏まえて方針の決定が必要かと思います。 またこれは必要、これは不要など
AWSにおけるアプリケーションのログ記録のベストプラクティス - Qiita
はじめに アプリケーションログは、アプリケーションの動作状況をログファイルに記録するプロセスです。アプリケーションよって、この動作状況は1つ以上のファイルに記録することが多いです。このログファイルは、セキュリティとパフォーマンスの分析の実行、アプリの問題のトラブルシューティングなどに役立ちます。この記事では、ログ、ログの種類およびAWSのCloudwatLogsサービスについて説明したいと思います。 各個人によって好きなAWSサービスがそれぞれだと思います。これが正解という訳ではありませんが、参考にしてただければと思います。 対象者 AWSでログの記録に興味がある方。 AWSでワークロードを運用している担当者。 ログレベル ログレベルについて皆さんご存じだと思いますが、主に３種類のログがあります。 レベル 説明
AWS監視アラート 事始め - mazyu36の日記
はじめに 入門監視をはじめ一般的な監視に関するプラクティスは出回っているものの、AWSで具体的に何を監視するか？そのとっかかりについてはあまり出回っていないような気がします。 AWSの監視ってみんな何監視してるんすか…っていうぐらい実例あまり見つからないな。門外不出？— mazyu36 (@mazyu36) 2023年2月14日 どこまで監視するかは基本的にシステムの特性によると思います。一方でAWSのサービスごとにシステムによらずよく監視で使う項目というのもあるかと思います。 今回は過去の経験をもとに、最低限この辺りは監視することが多いかなというものをまとめてみます。全体像としては以下になります。 最低限これは監視しないとダメでしょ、とかこれは不要でしょ、などなどあるかと思います。そういうのがあればぜひコメントいただきたいです。 はじめに 「監視」について 前提 1-1. Webサービス
【AWS】SAA資格取得のための学習用備忘録(運用支援サービス) - ポンサラの逆襲
メモ 以前取得したAWSの資格「クラウドプラクティショナー」に続き「ソリューションアーキテクトアソシエイト(SAA-C03)」取得を目指して勉強中！ いつも何か勉強するときは基本的に書きながら覚えるのでここでアウトプットします。 有益な情報かどうかは不明(笑) AWSにおける運用支援サービス システムは作って終わりではない。 むしろ、世の中に公開してからが本番。 システム運用を安定的に行えるか、その上で利用者の声を聞き日々機能を改善していけるかなど、運用フェーズに入ってからが重要。 この運用フェーズを支援するサービスもAWSには存在する。 代表的なサービスは以下の2つ。 ・Amazon CloudWatch ・AWS CloudTrail CloudWatchは、定期的にAWSリソースの状態を取得し、問題がある場合はそれを運用者に通知するサービス。 何を「問題がある」とするかは、利用者側で
コスト削減のためにCloudWatchログに長年溜まったログデータをS3にエクスポートするスクリプトを書いた
2023/02/06 追記 S3にエクスポートされたログのキーにエクスポートタスクIDとログストリーム名が自動的に付与されてしまうため、ログデータのパーティション化は困難でした。Athenaではファイルの場所の指定にワイルドカードやglobパターンを使用することができません。 Athenaのテーブル定義で以下のように記述することでパーティション可能な想定でしたが、実際には異なりました。 LOCATION 's3://{bucket_name}/{prefix}' TBLPROPERTIES ( "projection.enabled" = "true", "projection.day.type" = "date", "projection.day.range" = "2020/01/01/00,NOW", "projection.day.format" = "yyyy/MM/dd/",
CloudWatch Logsで複数行をひとまとめにする【Laravel】 - Qiita
CloudWatch Logsが見づらい！ EC2インスタンスで吐き出されるログをCloudWatchLogsに集約しているのですが、そのログがけっこう見づらくて困っておりました。 具体的には上記画像のように一つのエラーログが人まとまりにならず、複数行にわかれてしまうことです。 一つのエラーがひとまとまりになれば、何件エラーがあったとか、ログの境目が一瞬でわかるのに…と悩んでおりましたがしょうがないと思っておりました。 今回はLaravelで吐き出されるログをまとめたいと思います。 multi_line_start_patternでまとまりを作ることが可能 こちらにCloudWatchエージェントの設定ファイルの書き方があります multi_line_start_pattern – ログメッセージの開始を識別するパターンを指定します。ログメッセージは、パターンに一致する 1 行と、後続パタ
AWS Lambdaを使って特定ログを通知する - Qiita
Index 挨拶＆背景の話 構成 実装 感想 1. 挨拶 & 背景の話 こんちには、アプリケーションエンジニアで働いてます。キムでございます。 この前、運用してるアプリケーション内で発生するとあるエラーを検知する処理を入れたことがあります。 そこまで素晴らしい構成ではないが、この構成を作るときに、なかなか私と似てる状況の例文がなくてここに少しでも似てる悩みがある方に役に立てれば…と思って記録して残します。 2. 構成 前提条件 Cloudwatch Logsを使う FILTER機能はすでに別処理で動いてる 必ずリアルタイムでキャッチアップする必要はない １日１回のアラームぐらいでも構わない 要するに、Filterがすでに他のもので機能してるので、追加でなにかしたくて今回の構成を作りました。 正直Filterをもう少し汎用的に改善して運用することもいい案になったかもしれませんが、このような使
CloudWatchログをターミナルで見ましょう
awslogs streams /aws/lambda/awslogs-test-lambda-HelloWorldFunction-LaSGYdgx6oeA # 出力例 2023/01/02/[$LATEST]efc4cbfd5f524ff98a102892333e5c2d # --start='1h ago' は、1時間前からログを表示するオプションです。 awslogs get /aws/lambda/awslogs-test-lambda-HelloWorldFunction-LaSGYdgx6oeA --start='1h ago' # 出力例 /aws/lambda/awslogs-test-lambda-HelloWorldFunction-LaSGYdgx6oeA 2023/01/02/[$LATEST]efc4cbfd5f524ff98a102892333e5c2d ST
k8s環境のメトリクスやログを取得するマネージドサービス「CloudWatch Container Insights」が発表されました！ | DevelopersIO
k8s環境のメトリクスやログを取得するマネージドサービス「CloudWatch Container Insights」が発表されました！ 従来、EKSの監視やログ管理にはサードパーティーOSSや監視用SaaSなどがほぼ必須だったのが、CloudWatchのみで完結しそうな大型アップデートです。 現在開催されているKubeCon + CloudNativeCon Europe 2019 - Linux Foundation Eventsにおいて、Kubernetes環境のコンテナ環境のメトリクスを取得する「CloudWatch Container Insights」が発表されました！ コンテナワークロードのためのメトリクス・ログモニタリングサービス、CloudWatch Container Insights の Public Preview を発表しました！！ #KubeCon 続) pic
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
S3とCloudWatch Logsの見直しから始めるコスト削減 / Cost saving S3 and CloudWatch Logs
Amazon CloudWatchがログ監視とストレージを追加
今さら聞けないAWSによる監視の世界