dockerのlog周りの対応 - Carpe Diem
概要 dockerを本番運用する際にログの扱いに悩んだので情報をまとめてみました。 環境 docker v1.12.1 コンテナのログは何処に渡すべきか 主に以下の３通りになると思います。 コンテナ内に保存 volume先に指定してに永続保存 log driverを使って転送 a. コンテナ内に保存 何も設定しないとコンテナに保持されます。 メリット 何も設定しなくていい デメリット 当然コンテナが破棄された場合はログファイルがなくなります。 b. volume先に指定してに永続保存 volumeを用いてホストに永続的に保存します。 参照が切れないように-v <host_path>:<container_path>とするか、--volumes-from <container_name>でデータ用コンテナに保持してください。 メリット コンテナを破棄したとしてもvolumeでそこを指定すれば
docker fluentd logging driver の基礎的な設定 - Qiita
docker container では、コンテナ内の何かしらのプログラムが標準出力 (strout) や標準エラー (stderr) に出力した内容を docker logs コマンドで取得することができます。 しかし能動的に取得しいにいくだけでなく、何かしら別の方法で forward をしてくれると助かることもあります。 docker では logging driver という機構で、stdout / stderr に出力された内容を指定された方法で forward する仕組みがあります。 サポートされている logging driver の種類については以下公式ドキュメントを参照ください。 そのうち、この記事では fluentd logging driver についてのみ触れます。 overview fluentd logging driver は、上述の logging driver
ElasticsearchのIngest Nodeを試してみた | DevelopersIO
はじめに こんにちは、藤本です。 Elastic Stack 5もalpha3までリリースされました。GAリリースが待ち遠しいです。今回はElasticsearch 5の新機能の中でも注目している方が多いであろうIngest Nodeを触ってみましたので、ご紹介します。 公式ドキュメントでも既にIngest Nodeの情報は公開されています。 Ingest Node Ingest Node Elasticsearch自体でインデックスする前にデータ変換/加工する機能となります。LogstashのFilter PluginやFluentdの一部機能をElasticsearch側で処理することができます。それによりLogstash/Fluentdをデータ変換/加工用に置いていた環境ではLogstash/Fluentdを取り除くことができ、サーバーコストや運用コストを省くことができます。 Ing
[レポート]PostgreSQLの監視運用を楽にするツールのご紹介 ～ pg_monz と fluentd ～ in OSC2015 Hokkaido #osc15do｜Developers.IO
こんにちは、せーのです。今日は昨日、今日と2日間にわたって行われている「Open Source Confference」の北海道版、「OSC Hokkaido 2015」よりPostgreSQLで監視運用を行う際のツールを速報としてレポート致します。スピーカーはTIS OSS推進室の中西 剛紀氏。 レポート 今回の動作確認 PostgreSQL9.4.3 Zabbix 2.4.5 Fluentd 0.12.7 CentOS 6.6 データベースの運用管理 目的は「DBの状態を把握して健全な状態に保つ」ため 種類 死活監視 リソース監視 性能監視/分析/チューニング バックアップ/リストア 監視が運用管理の基本なので、正しく現状を把握する POstgreSQL標準機能を使った運用 監視に使うPostgreSQLの機能 稼働統計情報 内部のアクティビティ情報を蓄積 stats_collecto
![[レポート]PostgreSQLの監視運用を楽にするツールのご紹介 ～ pg_monz と fluentd ～ in OSC2015 Hokkaido #osc15do｜Developers.IO](https://cdn-ak-scissors.b.st-hatena.com/image/square/2ea97b24a571974aaf2cb80b5b357d42a728afa2/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F06%2FOSC2015do_poster4dl.jpg)
#fluentd 用ログ収集専用のエージェント fluent-agent-lite 書いた - たごもりすメモ
みんな大好きfluentdはたいへん便利ですが、ログの収集＆集約だけをしたい、というときにちょっとオーバースペック気味のところがあります。特に in_tail はログの読み込みと同時に parse をする仕組みになっており、まあログが書かれた場所ならparseのルールもわかってるでしょ、というところは合理的なものでもあるのですが、loadavgが高いサーバでそういうことをするのは正直にいってなかなか厳しいです。 そういうわけで以前に scribeline というエージェントツールを作ったのでこれを fluentd 以降後も使い続けていたのですが、ログをいったん集約するところの fluentd がCPU使用率的にいっぱいいっぱいになって厳しいものがありました。「scribe(Thrift)じゃなくてMessagePackにすれば倍くらいさばけるよ」ということを某開発者が言っていたような気もす
fluent-agent-lite と td-agent で、小さくはじめる fluentd - Studio3104::BLOG.new
fluentdを使ってみたいけど、「JSONでシリアライズしなくていいのに・・・生でいいのに・・・」と思ってなかなか使い出せないというケースはままあるのではないでしょうか。 こんなときに困ってしまうからですよね。 rsyncやscpで毎日深夜にやってくる生ログを解析するスパゲッティスクリプトたちを使えなくなってしまう アプリケーションサーバにログをパースさせるための負荷をかけたくない それでも使ってみたい、現存の古臭い解析機構をアクティブにしたまま、徐々にfluentdによる先鋭的なログ解析を始められたらいいなと思っている方、 fluent-agent-lite と td-agent で、fluentd を小さくはじめてみたらいいと思います。 結論を先に言うと、fluent-agent-lite + fluent-plugin-file-alternative + fluent-plugi
Fluentdベースのミドルウェア"Yamabiko"でMySQLのテーブルをElasticsearchへレプリケートする話 #fluentdcasual
Fluentdベースのミドルウェア"Yamabiko"でMySQLのテーブルをElasticsearchへレプリケートする話 #fluentdcasual
今日から始めるfluentd × Elasticsearch × kibana - カジュアルな解析・高速化 - Eureka, Inc.
目次 1. まえがき 2. pairsとシステム 3. kibana サンプルシステム構築 3.1 サンプルのサーバー構成例 3.2 fluentd 3.3 Elasticsearch 3.4 kibana 4. kibanaを使う 5. エウレカでの実際の活用事例 6. 〜終章〜 1. まえがき 1.1 対象者 気軽にデータ収集をしたいと思っている開発者 基本的なLinuxコマンドの理解がある方 1.2 この記事を読んで分かること fluentd x Elasticsearch x kibana を用いたアクセスログの収集・計測方法 pairsのシステム概要 私の好きなアニメ pairs高速化チーム 1.3 この記事を読んでも分からないこと 本格的な統計解析 恋人の作り方 1.4 自己紹介 はじめまして。サービス事業部の森川と申します。 エウレカには今年のはじめ頃にJoinしました。 エ
Scroll - a better internet
We’re exploring how to bring the Nuzzel experience to Twitter and we need your help to do so. Enter your email address below and we’ll make sure you’re on the list to get early access and give feedback on updates as we build. By clicking “Send me updates”, you agree to receive email updates about our products and our Terms of Service and have read our Privacy Policy. You may opt out of these commu
モバイルアプリのログを送るの大変じゃないですか？ - Rejasupoem
モバイルアプリでログを取ろうと思ったとき、多くのアプリではGoogle Analyticsを使っていると思います。 Google Analyticsは2つの事象にうちどちらが多く発生しているかなどの用途では便利ですが、一方でGoogle Analyticsはサンプリングされているので誤差があったり、ユーザー属性から絞ったりということができません。 そのため、弊社のプロダクトではログはOAuthで認証してfluentd経由でTreasure Dataに流していたりします。 参考になる記事：Fluentdとログ収集のパターン - Go ahead! 京都の勉強会で（京都 Android 勉強会 2014.08）ログの話をしたら「そうそう大変なんだよね〜」と共感していただいて、やはり各自でログ収集のしくみを作って正確な値を取っていたり、クエリを投げて分析したりしているみたいでした。 しかし、この
ログ集計／時系列DB／可視化ツールの調査結果 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 近年、自分の中で集計／可視化は Fluentd(datacounter)+Growthforecast で定番化していました。 しかしプロダクトで新たに集計／可視化の要件が出てきたことと、 最近可視化ツール周りで 「Kibanaってなんじゃ？」「Graphiteってなんじゃ？」「InfluxDBってなんじゃ？」 など、このツール達は一体何なんだろう…？というのが前々から気になっていました。 今回良い機会なので ◯◯は何をするものなのか？ というのを一つ一つ調べてみました。 いわゆる「触ってみた系」の記事なので だいぶ浅い感じです。 大分
Fluentdとログ収集のパターン - Go ahead!
「ログを集めて保存する」と言うのは簡単だけど，ログ収集の構成にはいくつか方法があり，勉強会などでちょくちょく聞かれるので，いくつかのパターンについて書く． 「俺はもうバリバリログ収集やってるぜ！」という人は多分すでに知っていることが書かれているので，タブを閉じて良い． ここではログコレクタにFluentdを想定しているが，他のログ収集プロダクトにも適用出来るはず． ただ，Fluentdはタグベースのルーティングを持ち，単体でもキューのように動作させることが可能で，既存のものより複雑な問題を解決しようとしているので，少し工夫が必要かもしれない． Fluentdそのものについては公式ドキュメントや，Fluentdとはどのようなソフトウェアなのかを参考に． クライアントから直接保存する いきなりFluentdを使わないパターン．JavaScript SDKを提供している解析サービスやモバイル端末
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
fluentd の go 実装におけるプラグイン構想
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ