最近の砂場活動その4: CloudWatch Logs/Kinesis Firehose/S3/Athenaを利用してログ分析をやってみる - yasuhisa's blog

Fargateを使うようになり、EC2サーバーを管理しなくなってよくなりました(東京リージョン、7月ですね!)。一方、これまでサーバーにログとして吐かれていたファイルの閲覧や集計に困ることも増えてきました(sshでログインして、ログファイルをgrepなどができない)。AWSのサービスを組み合わせることでこれが解決できないか、ということをやってみました。個人運用のWebサービスにはオーバーキルですが、仕事で使うことも見越して...という感じです。素人が試行錯誤しながらやっているので、もっとよいやり方があると思います。 やりたいこと CloudWatch LogsからS3までログを運ぶ手段 脱線: Kinesis Data Streams Kinesis FirehoseとCloudWatch LogsのサブスクリプションでログをS3に転送する S3のファイルをAthenaで分析 まとめ やり