Cookpad Tech Kitchen #9 https://cookpad.connpass.com/event/60831/
Blog 201701 SyslogをKafkaサーバに転送して、そこからGraylogをつかってlogをPub-Sub方式で取得をさせる 前回、syslogをKafkaに転送させるようにしたので、今度はそこからGraylogでログを取得する。 特にプラグインもなしでできるので、(いろいろと問題はあるが)なかなか良い感じだ。 設定は簡単で、[System] > [Inputs]で新規のインプットとして[GELF Kafka]を選択し、「Launch new input」から新しいインプットを作成するだけだ。 zookeeperのアドレスは複数指定できるので、各ノードのアドレスを指定してやる。 で、INPUTが正常に作成・動作したら、以下のようにKafkaからログが取得されるようになる。 このとき、タイムスタンプがGraylogがログを取得したタイミングになってしまうので注意。 また、注意し
ログ収集ツールとしてはFluentd、Logstash、Flume等が挙げられる。ファイルやメール、syslog、DB、センサからログデータを読込み、必要なログをフィルタして、jsonやxmlに整形してアウトプットする機能を持つ。 メリット プラグインが300+公開されており、様々な形式のデータをインプット、アウトプットできる 単体でログのフィルタ、バッファ、ルーティングができる 2000+を超える企業に利用されている 日本語の情報が多い デメリット 単体で動作するためfluentdが落ちたらバッファしているログが消える 想定外のログが入力されると大量のスタックトレースが吐かれる 引用:http://changineer.info/server/logging/fluentd-td-agent.html#fluentd-2 Logstash メリット フィルタを簡単にカスタマイズできる F
なかなか試せなかったログ収集・解析周りのツールを周回遅れで軽く試してみた。 Docker 1.8 からFluentdもlog driverに追加されているので、これを使って簡単なサンプルを構築した。 構成適当なnodeJSアプリケーションのフロントにnginxを立たせて、 収集したログをtd-agentで、Fluentdのログ収集コンテナに24224ポートで転送する。 あとはElasticsearch、Kibanaで解析・表示する。 アプリケーションからのログ転送はDockerのlog-driverオプションを使うので、td-agentの導入を省けた。 Fluentd、Elasticsearch、Kibanaはそれぞれオフィシャルのイメージがあるので、そちらを活用した。 Elasticsearchは9200ポート、kibanaは5601ポートを使った。 ログ収集・解析基盤のセットアップFl
タイトル通り Fluentd の Docker イメージを動かした際のメモです。 背景 Fluentd を使って動作確認を行う際は CentOS などの Linux に td-agent を入れていました。ただ、毎回環境構築のたびに td-agent をインストールするのも...と思い、Fluentd の Docker イメージが用意されていたので動かしてみました。 fluent/fluentd-docker-image: Docker image for Fluentd 環境情報は以下のとおりです OS: OS X 10.11.6 (El Capitan) Docker: 1.11.2 Docker 実行環境: Boot2Docker 最近、Docker for Mac がリリースされたようですが、ここでは手を抜いて Boot2Docker 上の Docker で動かしてみます。 Doc
2. WHO AM I ? • Toru Takahashi (@nora96o) • Treasure Data, Inc. • Support Engineering Manager • メールにチャットに、ブログ書いたり、コードを書いたり、 • http://qiita.com/toru-takahashi • 気づくと、社会人4年目に突入・・・ 2 3. 質問です! • Treasure Data を 知っている人は ? • Fluentd を 知っている人は ? • Embulkを知っている人は? • Digdagを聞いたことがある人は? • インフラ / 分析基盤 を普段から運用や開発をしている人は? • iOS / Android / Unity / フロントエンドの人は? 3
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く