fluentdのDockerイメージにプラグインを雑に追加する - ただのにっき(2019-02-05)
■ fluentdのDockerイメージにプラグインを雑に追加する IDCFクラウドからCloud Garageに引っ越したものの*1、新居には付加サービスがほぼないから、ログ管理や監視は自分でやらねばならぬ。必然的にFluentdやmackerelの世話になる。いずれもDockerイメージが公開されているので、導入は楽だ。 で、運用がうまく回ってくると欲が出てきて「fluentdでサービスメトリックを投稿する」みたいなこともやりたくなってくる。でもfluentdのイメージには必要なプラグインが入ってない。fluentd側にはちゃんと改造して使う方法も書かれているんだけど、わざわざDockerfileを書くのも面倒くさい。というか「コードを書かないとプラグインが導入できない」ってなんか納得できなくない? というわけで、docker commitを使って楽に追加することにした: # dock
DockerのFluentd logging driverを通したltsv形式アクセスログをパースする - Qiita
※当記事は個人ブログに移行しました Docker 1.8からはFluentd logging driverが実装されているのでFluentdでログをゴニョゴニョするのが簡単にできます。jsonのlog要素がソースコンテナのログになるようです。 そして、話は変わりますがNginxのアクセスログフォーマットをLTSVにしている人は結構多いのではないかと思います。 Fluentd logging driver経由で受け取ったjsonの1オブジェクトに入れられたLTSVのログをFluentdでパースして取り扱いがしやすいようにアウトプットしてみようと思います。 内容としてはFluentdでも紹介されている通りfluent-plugin-parserを使うだけです。 #受取側のFluentdコンテナを用意 せっかくなので受信側もコンテナで用意します。 ##Fluentdの設定(fluent.conf
Fluentd 入門 〜運用に必要な基礎知識〜
最近業務で Fluentd を触ることが出てきて入門したんですが、最初のうちはトラブルが起きた時に何が起きているのか、どう対処したら良いのかがさっぱりわからなかったので、「Fluentd ってログの収集とかに使われるやつでしょ？」程度の知識しかなかった過去の自分に向けて「とりあえずこれぐらいは知っておけ！」と言いたい内容をまとめてみました。 トラブルが起きた時にどの処理で問題が起きているのか素早くコードを追うことができて、データの消失を最小限に抑えつつ適切に対処できるようになることを目的としています。 なお、現時点で最新版の Fluentd v0.14.21 を対象にしています。 アジェンダ Getting Started Fluentd のアーキテクチャ Processes Supervisor process Worker process Threads Input thread En
Treasure Data - naoyaのはてなダイアリー
少し前にログの話を書いた http://d.hatena.ne.jp/naoya/20130219/1361262854 ときに、Treasure Data については後日にもう少し詳細に書くと言ったので書くとしよう。 近頃 Treasure Data (以下、時折 TD) という名前をちらほら聞いたことがある人は多いのではないかと思います。「ビッグデータのクラウドサービスである」とか「日本人が創業したシリコンバレーのベンチャー」、あるいは Yahoo! 創業者の Jerry Yang が投資したとか、Fluentd と何か関係があるといった文脈などなど。 けど、具体的に Treasure Data がどういうサービスで、どういう機能を持っていて、どんな場面で利用されるものなのかはまだあまり良く知られていないかもしれない･･･ようにも見える。今日はその辺から少し紹介していこうかなと思う。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
