FluentdでS3へログの出力設定のTips
はじめに Fluentdを利用して、アプリケーションログをS3に保存し、Athenaで検索できるようにした時の対応メモです。 Fluentdの基本的なことには触れていないので、別記事を参照ください。 Fluentdのインストール用ansible ansibleにて構成管理を行っているので、Ansible Galaxyから以下のroleを利用 EC2インスタンスプロファイル S3へ出力する際の権限設定はIAMキーではなく、インスタンスプロファイルにて以下のポリシーを設定 s3_object_key_formatの設定 デフォルトのindexから uuid_flushに変更 S3へのAPI増加はAmazon GuardDutyのコスト(AWS CloudTrail S3 データイベント分析)にも跳ねるので極力下げる S3のpathはAthenaパーティション分割を考慮 S3のオブジェクトのパス
オフィス・AWS環境をセキュリティ監視するためのログ収集 - クックパッド開発者ブログ
インフラストラクチャー部セキュリティグループの水谷 (@m_mizutani) です。 現在、クックパッドのセキュリティグループではセキュリティ監視を高度化に対して取り組んでいます。サービスに関連する部分の監視は以前からやってきたのですが、ここしばらくはそれ以外のインフラやオフィスで発生するセキュリティ侵害を検知することを目的とした監視基盤の構築に力を入れています。 昔は一般的にオフィス、インフラのセキュリティ監視と言えば、イントラネット内に閉じた環境でのログ収集から分析まで完結していたケースも少なくなったと考えられます。しかし現在だとインフラとしてクラウドサービスを多用したり、業務で使うツールをSaaSによって提供するという場面も増えているかと思います。このような状況だとセキュリティ監視のために見るべき箇所がばらけてしまうといったことが起こります。クックパッドでも積極的にSaaSやAWS
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
