PostgreSQLのログをFluentdで収集する - Tech-Sketch
PostgreSQLの運用管理にログの情報は不可欠ですが、PostgreSQLが出力するログは直接取り扱うのに適した形式とは言えません。ここではFluentdを使って運用管理に活用しやすい形にPostgreSQLのログを加工する方法を紹介します。 PostgreSQLの運用管理とログ データベースの運用管理には 死活監視、リソース監視 性能分析、チューニング バックアップ、リストア といったものが考えられますが、現状を把握しなければ何も対策できないので、まずは必要な監視を正しく行うことが重要です。PostgreSQLで監視に使える機能には稼働統計情報とログがありますが、今回はログに注目してみます。 PostgreSQLのログからわかること PostgreSQLが出力するログからは以下の様なことがわかります。 何らかの異常(エラー)が発生したこと 処理されたSQL チェックポイント、自動VA
Fluentdで始めるリアルタイムでのログ有効活用
はじめに Fluentdは、ログを収集し格納するためのログ収集基盤ソフトウェアです。Fluentdにインプットされた、すべてのログをJSONに変換し、アウトプットします。インプットとアウトプットはモジュール化されており、モジュールを追加することでインプット元とアウトプット先を追加できるようになっています。 Fluentdは急速に知名度を高め、多くのWebサービス会社で実際に使用されるようになりました。従来のログが抱えていた問題も、Fluentdが適切な解決策となっていると認知され、かつ簡単に導入・スモールスタートできるミドルウェアであったことが大きかったと思います。 本稿では、Fluentdの簡単な仕組みと導入方法、シンプルな動作事例について紹介します。 対象読者 システム管理者 データサイエンティスト 必要な環境 UNIX系OS Ruby 1.9 ログを出力する理由 システム運用を始める
LTSVフォーマットなログを fluentd + GrowthForecast で料理 - naoyaのはてなダイアリー
ここ数年のデータ解析の重要性の高まりから、ログに関するソリューションが方々で活発に探求されている昨今でございます。ウェブサーバーの単純なアクセスログをそのまま保存するではなく追加情報を添加してみたり、あるいはアプリケーションから直接ログを吐いてそれらをデータウェアに投げ込んで･･･というのも当然のように行うようになりましたね。 しかしあまり自由度のない access_log の combined フォーマット。さてどうしたもんか･･･ ここで id:stanaka の登場です。 Labeled Tab Separated Valueというのは、はてなで使っているログフォーマットのことで、広く使われているTSV(Tab Separated Value)フォーマットにラベルを付けて扱い易くしたものです。はてなでは、もう3年以上、このフォーマットでログを残していて、one-linerからflue
dstatの結果をfluentdで取得して、WebSocketで送りつけるリアルタイムリソース監視アプリを作ってみた。 - from scratch
Tuppari公開記念Hackathonで作ろうとした奴を作ってみました。 ごめんなさい、micro instanceなのでアクセス過多で動かない時があるかもしれません、ちょっと調整中です。 リアルタイムリソース監視アプリ yosuke-furukawa/dstatwatcher · GitHub WebSocketを使ってリアルタイムにリソース監視したりログ監視したりするのは正直よくあるやつなのですが、fluentd使ってみたかったというのと、highchartを本業の方で使おうか迷った挙句、使えなかった経緯があったので、使ってみようと思って作成してみました。 大体、↓の感じの流れでやってます。 Fluentdとdstatのつなぎの部分にはfluent-plugin-dstatを使用しています。 shun0102/fluent-plugin-dstat · GitHub これを使うと、d
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
覚えるテクFluentd
技術覚え書き[Ruby][Fluentd]ログを消失させたくない話 Day:2012.07.12 12:30 Tag:RubyFluentd fluentdのリトライ処理に失敗した場合に、ログを消失させたくない＋処理に失敗したログを復旧させたいという話です。 fluentdのBufferedOutput系のpluginは、retry_limitに記載されているリトライ回数を消費してしまった場合、"throwing away old logs."のwarnメッセージと共に、ログが消失します。 # buffer_type fileの場合は不明 それを防ぐため、secondaryというディレクティブが存在します。 secondaryは、matchディレクティブのretry_limitに記載されているリトライ回数を超過してしまった場合に実行されます。 そのため、処理に失敗した場合のバックアップ用途
fluentd のベンチマークとってみたよ！ - たごもりすメモ
入出力プラグインをrubyで書けるのがじつにいい感じの fluentd がいい感じに見える。 fluent/fluentd · GitHub ので使えるかどうか、使えるとしたらどれくらいのノードを用意すればいいのかについて考えるため、とりあえずベンチマークをとってみた。 結論 以下非常に長くなるので結論だけ書くと、大変使える感じ。現状だとほとんど何も考えずにデータ中継させても秒間1万メッセージ、100Mbpsくらいまでは処理できる。効率よくなるよう流す側も考えてやれば 300Mbps を超えるデータの転送に成功した。だいぶいい感じ。 なおこれは in_scribe および out_scribe を使用した場合で、開発者 @frsyuki によるとMessagePackでのデータ転送の場合はこの倍くらい出るらしい。 もちろんこれは右から左に流しただけなので現実にタグによるルーティングだとかロ
Fluentd Meetup #2 発表資料 | 外道父の匠
このブログやTwitterをご縁に、Fluentd meetup in Japan #2 で登壇させていただくことになり、張り切って発表してきました。 発表資料はアニメーションを多様していたのでSlideShareだとわかりづらいかもですが、アップロードしましたので御覧くださいませ。 内容の補足 いくつか質問を受けて答えたりTwitterで見た点について、資料の補足をしておきます。 Agent -> Collector通信経路について Q. なぜVPNにしなかったのか A. VPNは可用性／負荷分散性の点で弱いため。また、VPNサーバや他にもGatewayなど余計な経路を通ることになり無駄である。Agentの増加に対してボトルネックができない構成にしたかったため。政治的な理由で、ある環境だけVPNをはれないといった場合もあり、総合するとGlobal＋暗号化 が良い落とし所だった。 圧縮／暗
Fluentd meetup #2
The document discusses the logging system Fluentd. It describes how Fluentd provides extensibility through plugins, uses a unified JSON log format, and offers simplicity. Major companies like NHN Japan and COOKPAD use Fluentd in production. The future of Fluentd includes new features like filters in sources, labels, faster MessagePack serialization, and a more efficient process model with live res
Fluentd meetup in Japan 2 にいってきた #fluentd - たごもりすメモ
Fluentd meetup in Japan #2 #fluentd on Zusaar ふらふらとお気楽に参加してきた。当方ささやかながらプラグインを作ったりしているので、他のひとがどのように使っているか、どのようなプラグインが他の人によって使われているか、あたりにたいへん興味があったので、そういう話をかなり聞けたのがすばらしく有益だった。主催者の方々、スタッフの方々、会場提供のグリーの方々、ありがとうございました。 以下だらだらとセッションごとに感想めいたものを書く。 「Fluentdの現在と未来」by @frsyuki 会場のFluentd利用者率が6割だか7割だかでびびる。本当に？ みたいな。あと日本語ドキュメントなんていらんかったんやー、俺達は間違ってなかったんやー、と安心したりする。*1 Fluentd次期バージョンの話、じつはこれをメインで聞きにいったけど、既にTwitte
dstatをfluentd＋growthforecastでグラフ化(前編) - アルパカDiary Pro
とあるクラスタ（複数台あるサーバ）に対して性能評価しているときに dstatでリアルタイムに数値見ながら評価したいんですが さらにまとめてリアルタイムグラフ化出来たら嬉しいのではないかなーと。 お、これはfluentd+growthforecastの出番では…！ と思い早速試してみましたよっと。 全体像 ノードサーバ（監視される側） 各サーバでdstatを収集／整形しログに出力 fluentdでgrowthforecastAPIを叩く グラフ生成サーバ（growthforecast） config生成plackアプリを起動（今回はログ収集サーバで実行しているが、本来はどこで起動してもよい） growthforecastプラグインでグラフ化 ※最初考えていた構成ではグラフ生成サーバでログを受け取ってから growthforecastに流しこんでました。 ログファイル自体も収集したい時にはその
Fluentd | Open Source Data Collector
Fluentd is an open source data collector for unified logging layer. Fluentd allows you to unify data collection and consumption for a better use and understanding of data.
Fluentdというログ収集ツールを使ってApacheのログを取得するまで - kk_Atakaの日記
あらすじ Twitterで@tosikawaさんにこんなツールあるよ、と教えてもらった …が、未見だったためすぐググる とりあえずどんなものか動かしてみる事に Fluentdとは Log everything in JSON http://fluentd.org/ Oh...シンプルイズベスト…。 Fluentd is a log collector daemon written in Ruby. Fluentd receives logs as JSON streams, buffers them, and sends them to other systems like MySQL, MongoDB, or even other instances of Fluentd. Rubyで作られたログ収集ツール。ただし、JSONで……？ 参考サイト Fluentd: Log Everythi
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Inouetakuya
http://dl.dropbox.com/u/224433/fluentd_casual_1/index.html
http://documents.mazgi.com/fluent/doc/
OSSで支えられるライブドアの巨大ログ集計 #nhntech