FluentdでS3にログを収集してみる | DevelopersIO
こんにちは、坂巻です。 今回は、ログ収集に関するエントリです。 AWSでログ収集といえば、CloudWatch Logsが挙げられますが、 今回はオープンソースのログ収集管理ツールFluentdを使用してみたいと思います。 最終的には他サービスを使用して、収集したログの可視化や分析してみたいと思いますが、 本エントリではS3にログが出力されるまでをゴールとします。 目次 構成 構築 AWS環境 Fluentdインストール Fluentd設定 ログ確認 さいごに 構成 以下のシンプルな構成です。 構築 AWS AWS環境の構築はCloudFormationのテンプレートを用意したので割愛します。 上記テンプレートを利用してAWS環境を構築する際は、 スタックのパラメータに以下を設定してください。 KeyPairName…EC2インスタンスにログインするキーペアを指定します。 S3Bucket
fluentdで軽くs3にログを集積してみる(sinatra編) - Qiita
require "sinatra" require 'logger' logger = Logger.new('sinatra02.log') get '/' do logger.info "log from 02" 'Hello app 02' end <source> type tail path /path/to/sinatra01.log format /^(?<date>[^ ]+)\s+(?<duration>.*) (?<client address>.*) (?<result code>.*) (?<bytes>.*) (?<request method>.*) (?<url>.*) (?<rfc931>.*) (?<hierarchy code>.*) (?<type>.*)$/ pos_file /var/log/fluent/messages.pos tag sina
fluentでAuto ScalingインスタンスのログをS3に保存する : toda_k
弊社の一部検証環境では、AWSのスケジュールや負荷に応じてインスタンスを自動的に増減してくれる機能であるAuto Scalingを使用しています。これにより、必要なときに必要なだけ使えるというパブリッククラウドの特徴を簡単に活かすことができます。 ただし今回の検証で使用するには、ひとつ不都合がありました。スケールダウンするときにインスタンスを「電源ケーブルを引っこ抜くように」落としてしまうため、終了時にログをまとめて転送することができないのです。保存しておきたいログは常時ほかのサーバーや記憶領域に転送する必要があります。 このためのツールとして最近fluentを検証・導入しましたのでご紹介いたします。 fluentとは ログの転送・集約をするためのツールです。プラグインで機能を拡張できる点とログを構造化できる点がとても頼もしく見えます。こちらのブログおよびスライドに細かな紹介が載っていま
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
