Athena で始めるズボラなログ設計 - Qiita

背景 サービスを運用していると, ログに対して解析を行いたいと思う事は多いと思います. しかし, ログを出力するコードを実装している時には解析の要件が正確には固まっていなかったり, 解析する側と出力側の人間が別だったりすると最初からスキーマをきちんと決めて個別のログを出力することは難しかったりすると思います. そんなとき, 出力側は適当にログを出しておき, 解析側は要望ベースで事後的に解析したりできると色々便利です. 要はスキーマレスにログを出力し, スキーマレスなログにたいしてクエリを走らせられるようなログシステムを作ります. 採用技術 ログの格納先としては S3 を使用します. 好きなだけログを放り込めますしまず消えません. 解析のためには Athena を使用します. S3 のファイルに直接 SQL でクエリを発行できます. きちんと個々のログの内容を設計せず必要そうなデータを適当に

[sonots]

select で頑張らせるパターン