検証中のtd-agent（fluentd）の設定とか負荷とか - mikedaの日記
せっかくなのでアクセスログ関連のところだけ抜き出してみます。 構成 概要 Fluentdを使ってWEBサーバ（APPサーバ）のアクセスログを集約サーバに集約、いくつかの処理をやってます。 要するにこの3つです。 まとめてファイルに保存する（とりあえずやってみてるだけ） TreasureDataプラットフォームにデータを送信して集計可能にする Zabbixでサービスの稼働状況を可視化する TreasureDataプラットフォームに関しては前の記事で書いたように、簡単な管理画面を作って集計テストをしています。自社フレームワーク用のライブラリも作成するつもりです。 Zabbixを使った可視化はこんな感じです。 プラグインの構成図 td-agentはサーバごとに1プロセス、できる限りシンプルでFluentdっぽい使い方を心がけてます。 負荷 2億/dayくらいのログを突っ込んでみたところ、集約サー
Treasure Dataにもれなくログをつっこむ - mikedaの日記
なんとなくログをTreasureDataに突っ込み始めると、開始時期のデータが不完全な状態になっちゃいます。 というわけで『過去ログのアップも含めて、もれなくデータを突っ込むにはどうしたらいいのか』ということです！ 今回はこういう手順でやってみました。 当日のログはFluentdのin_tailをゴニョって 過去ログはtd bulk_importで 当日分のログはfluentdのin_tailで ※この手順は公式なものではないので自己責任で！ Fluentdのin_tailにはpos_fileという設定があります。 ここで指定したポジションファイルには、どのログをどこまで送信したかが記録されます。 <source> type tail format apache path /var/log/httpd/site01-access_log.link tag forward.apache.ac
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
