きっかけ 先月CloudFrontのアクセス数などはCloudWatchで見れるようになりました。 しかしS3のアクセス状況はそのようなMetricsがなく、ログを解析するしかありません。 アクセス規模が小さくてEMRを持ち出すほど大げさではない場合、lambdaで処理すれば楽に可視化まで持って行けるのではないかと考えました。 実装 lambda2cw ログファイルがPUTされた時にフックして、ログを解析してCloudWatchのカスタムメトリクスとしてPutMericDataを行います。 想定としては、bucket内のlogs/ から始まるキーがログファイルとなります。 デモ 負荷を発生 適当にabで負荷をかけます。 $ while [ 1 ] ; do ( ab -c 4 -n $(echo $[ $RANDOM % 100 ]) http://lambda2cw.s3-us-west
![S3のアクセス状況を可視化してみる - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/37539579b68ed6c61db22e6e6ebe322c54a3a622/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9UzMlRTMlODElQUUlRTMlODIlQTIlRTMlODIlQUYlRTMlODIlQkIlRTMlODIlQjklRTclOEElQjYlRTYlQjMlODElRTMlODIlOTIlRTUlOEYlQUYlRTglQTYlOTYlRTUlOEMlOTYlRTMlODElOTclRTMlODElQTYlRTMlODElQkYlRTMlODIlOEImdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPTIzYWI3M2Y4ZWVmZjAyYjFlNDY3MDkxYjkwYmM2ZDAz%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBqM3RtMHQwJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz00MjVjMjc2OTdlMGUwNGYyOTgzODgxN2QzMTE0ZjM4ZA%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D35c5b01de93f8fc3b0f6e2bbcfaa0d44)