Lambda + S3 で、CloudWatch Logsのログをログローテーションする - Qiita
🔷 はじめに AWSの各種プロダクトのログは、CloudWatchに出力する事ができます。 そして、CloudWatchに出力したログは、手動でS3にエクスポートする事もできます。 しかし、S3に自動でログローテーションする機能はありません。（2018年12月時点） そこで、今回は、ログローテーションをLambdaで実現したいと思います。 🔷 作業手順 今回は、CloudWatchのログを日次処理でS3にエクスポートする処理を行う、Lambda関数を作成します。 作業手順は大きく3つになります。 1. S3のバケットを作成する。 2. CloudWatch LogsのログをS3にエクスポートする処理を行う、Lambda関数を作成する。 3. CloudWatch Eventsで、Lambda関数が日次処理で実行するように設定する。 🔷 実装 🔶 S3のバケット作成 S3は「バケット
CloudWatch Logs に蓄積したログをS3に定期的にエクスポートする - あくまで個人的なメモ
前回各サーバのログを集約させた。 これをS3にexportしてログの集計など他の処理に繋げる。 また、古いログなどCloudWatch Logsで見る必要がないログはexportしてから消してしまうのも一つの手だと思う。 (S3のほうがアーカイブ料金は若干安い) S3バケットの作成 export先として指定するバケットを作る。ログの出力先用に作ると良いと思う。 export元のCloudWatch Logsと同じリージョンになるように注意すること。 バケットポリシーの設定 作成したバケットの Permissions > Bucket policy を選択し、バケットポリシーを編集する。 下記は作成したバケット名が「export-log-backet-name」の場合の例。Resourceを書き換えてね。 { "Version": "2012-10-17", "Statement": [ {
Lambda を使って CloudWatch Logs から S3 へ自動的にエクスポートする
Lambda のログは自動的に CloudWatch Logs に保存されますが、他と連携する場合は S3 のほうが何かと都合がいいです。 CloudWatch Logs にはログデータを一括で Amazon S3 にエクスポートする機能があります。リアルタイム性が求められずバッチ処理で定期的にエクスポートする用途に向いています（リアルタイム性が求められる場合は、サブスクリプションを使用したログデータのリアルタイム処理が用意されています）。 というわけで Lambda と CloudWatch Events を使って、CloudWatch Logs から S3 へ自動的にエクスポートしてみます。 CloudWatch Logs API の CreateExportTask S3 へのエクスポートは CloudWatch Logs API の CreateExportTask を使います。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
