FluentdでS3へログの出力設定のTipsはじめに Fluentdを利用して、アプリケーションログをS3に保存し、Athenaで検索できるようにした時の対応メモです。 Fluentdの基本的なことには触れていないので、別記事を参照ください。 Fluentdのインストール用ansible ansibleにて構成管理を行っているので、Ansible Galaxyから以下のroleを利用 EC2インスタンスプロファイル S3へ出力する際の権限設定はIAMキーではなく、インスタンスプロファイルにて以下のポリシーを設定 s3_object_key_formatの設定 デフォルトのindexから uuid_flushに変更 S3へのAPI増加はAmazon GuardDutyのコスト(AWS CloudTrail S3 データイベント分析)にも跳ねるので極力下げる S3のpathはAthenaパーティション分割を考慮 S3のオブジェクトのパス
