Log Messages — MongoDB ManualGeneral InformationDocumentationDeveloper Articles & TopicsCommunity ForumsBlogUniversity
OSSのデータ可視化ツール「Metabase」が超使いやすい - Qiita
Metabase、まじでイケてる。 1日で、Re:Dashから乗り換えました。 Metabaseとは OSSのデータ可視化ツール。Re:Dashとかと同じ類。 AWSとかに乗せて、誰もが見れるダッシュボードを作ったりする時に使うと、俺かっけーってなります。 スクリーンショット 実際に社内で運用している様子をモザイク付きでお見せします。 毎日みているダッシュボード。これの4倍くらいの数値見てる。 ダッシュボードの編集。マウスで簡単に位置や大きさの変更ができる。 クエリビルダー的なやつがあり、グルーピングとか超絶便利。SQL書けない人でも、単一テーブルとかだったら余裕かと。 グラフ化も簡単。 SQLでのクエリ編集画面。ちゃんと補完してくれる。 Metabaseの良い所 見た目が格好いい。 インストールが簡単。 openjdk-8-jdk入れて、jarファイル置くだけ。 豊富なデータソースに対応
ログ収集ツールの比較 - Qiita
ログ収集ツールとしてはFluentd、Logstash、Flume等が挙げられる。ファイルやメール、syslog、DB、センサからログデータを読込み、必要なログをフィルタして、jsonやxmlに整形してアウトプットする機能を持つ。 メリット プラグインが300+公開されており、様々な形式のデータをインプット、アウトプットできる 単体でログのフィルタ、バッファ、ルーティングができる 2000+を超える企業に利用されている 日本語の情報が多い デメリット 単体で動作するためfluentdが落ちたらバッファしているログが消える 想定外のログが入力されると大量のスタックトレースが吐かれる 引用：http://changineer.info/server/logging/fluentd-td-agent.html#fluentd-2 Logstash メリット フィルタを簡単にカスタマイズできる F
loggingについて話そう - Qiita
この記事は Let’s talk about logging の翻訳です。 Nate Finch による Go Forum への投稿で始まったスレッド を見てこの記事を書くことにしました。 この記事は Go を対象にしていますが、あなたのいままでのやり方を振り返ってみたら、同じ考え方がより広く適用できると思います。 なんでこんなに足りないの？ 訳注: "Why no Love?" を、「（愛されてないから）機能が足りない」というニュアンスで解釈しましたが、自信が無いです。 Go の log パッケージ はレベル付きのロギングを提供していません。なので手動で debug, info, warn, error のようなプレフィックスを書く必要があります。 また、 Go はパッケージごとにログの出力レベルを制御する方法も提供していません。 比較対象としてサードパーティーのロギングライブラリを見て
Fluentular: a Fluentd regular expression editor
Regular Expression Test String Custom Time Format (See also ruby document; strptime) Example (Apache) Regular expression: ^(?<host>[^ ]*) [^ ]* (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^ ]*) +\S*)?" (?<code>[^ ]*) (?<size>[^ ]*)(?: "(?<referer>[^\"]*)" "(?<agent>[^\"]*)")?$ Time Format: %d/%b/%Y:%H:%M:%S %z
fluentd(td-agent)のインストールと設定
fluentd / td-agent とは fluentd とは fluentdはruby gemによって提供されるログ転送/収集の仕組みです。rsyslogdでは実現できないような大量ログの収集/分析を行う目的で使用すると良いと思います。 td-agent とは td-agentとはfluentdのラッパープログラムです。ruby, gem等のプログラムや起動スクリプトなどの便利なファイルをインストールコマンドひとつで提供してくれます。td-agentは環境変数PATHには存在しないディレクトリにrubyやgemをインストールしてくれるので、システム全体への影響を与えずにfluentdが使えるメリットがあります。 fluentdのデメリット(弱点) fluentdは万能ではなく、業務要件によってはクラシックなrsyslogdを使用する方が良い場面も存在します。以下にfluentdの弱点を
fluentdのformat(正規表現)の作り方について試行錯誤中 #fluentd - Glide Note
Fluentdを触るようになって、いろんなログをfluentdに 渡すように試行錯誤している最中。 td-agent.conf、fluent.confを用意するときに任意のjson形式にするために 正規表現を用いてformatを書く必要があるんですが、formatの作り方というかデバック方法について どういう手順に作ると良いのか情報がネット上に見当たらず試行錯誤中。 もっと良い方法を教えてもらいたいので、今やっている方法を晒してみる。 そもそもの疑問、どうやってformatを作るのか たとえばfluentd関連の情報を調べてると、 #fluentd で maillog を読み込んで MongoDB に投入 - 酒日記 はてな支店 format /^(?<date>[^ ]+) (?<host>[^ ]+) (?<process>[^:]+): (?<message>((?<key>[^ :
fluentdと定番プラグインのインストール
fluentdと定番プラグインのインストール：今さら聞けないfluentd～クラウド時代のログ管理入門（2）（1/2 ページ） 前回の記事「増えるログ、多様化するログをどう効率的に運用するか」では、fluentdの大まかなアーキテクチャについてご紹介しました。第2回では、fluentdがどういったものであるかをもう少し具体的に理解するために、実際の利用までの流れを紹介します。 fluentdの使い方 fluentdを利用するには、各サーバーにfluentdをインストールし、どのプラグインを使って処理を行うかについての設定が必要になります。 インストール手順 fluentdはさまざまな方法でインストールできます。例えば、 rpmパッケージによるインストール（CentOS、Red Hat Enterprise LinuxなどのOS向け） debパッケージによるインストール（Ubuntu、Deb
Quickstart Guide | Fluentd
Let’s get started with Fluentd! Fluentd is a fully free and fully open-source log collector that instantly enables you to have a ‘Log Everything’ architecture with 125+ types of systems. Fluentd treats logs as JSON, a popular machine-readable format. It is written primarily in C with a thin-Ruby wrapper that gives users flexibility. Fluentd’s scalability has been proven in the field: its largest u
logrotate（ログローテート）の動作確認 – OpenGroove
Linuxにおけるlogrotate（ログローテート）の機能についておさらい。ログローテートが実行される際の流れは、概ね以下のようになる。 cronが主設定ファイルの/etc/cron.daily/logrotateを読む。 /etc/logrotate.conf の読み込みから logrotate が起動される。 また/etc/logrotate.conf はそのディレクティブ “include” により、 /etc/logrotate.d/ 配下にある各ログ個別の設定を読み込む。 ※http://www.asahi-net.or.jp/~aa4t-nngk/logrotate.htmlから抜粋 しかし今回は、logrotateの設定をどこにどう書くかという話でなく、動作確認や、うまく動作しない時の対処について。（confのオプション等には上記サイトに書いてあり、なかなか参考になる） ま
fluentd(td-agent)で、td-agent.logのローテートをとりあえずする方法 - oranie's blog
追記： やっぱこれをみんな悩むよね・・・と思って改めて色々ググり直したら思いっきり既知の問題かつ同じ手法（logrotateを使用する方法）でISSUEにも上がっていました。RHEL系でのtd-agent.specに既に書かれているのでリリース待ちですね。 https://github.com/treasure-data/td-agent/blob/master/redhat/td-agent.spec https://github.com/treasure-data/td-agent/commit/ad7885ff4956c420a37d9a87c783ed81c422c53d - 表題のままです。まあ、そんな大量にエラーログとか出ている状態で運用する事無いんですけどね。ただ、一定サイズとか一定日次とかでローテートしておきたいじゃないですか。 で、今のfluentdの挙動を見る為にlib
logrotate によるログのローテーション
ここでは、ログの肥大化を防ぐためのログのローテーションについて解説していきます。syslog や他のプロセスが出力するファイルは放置していくとどんどんサイズが大きくなり、ディスクスペースを圧迫していきます。インストール時は/var ディレクトリのディスク占有率が0%であっても、数週間、数ヶ月経過するごとにあっという間に占有率が増大していることに気がつくと思います。しかし、これらの出力されるログを何世代分ローテーションさせるかといったことを予め決めておけば、指定した以上のファイルは作成されなくなり、その中でログがローテーションされていくのでログサイズの肥大化を防止することができるのです。RPMでパッケージをインストールしている方は、ほとんどログのローテーションをカスタマイズする必要はありませんが、ソースからコンパイルしてインストールした場合には、ログのローテーションは必須の作業となります。ま
fluentdで始めるログ管理【フォワード設定まとめ】 | Tech-Sketch
この記事はeXcale Developer's Blogから移転されたものです。 eXcale開発チームの泉谷(@syguer)です。 今回は前回の続きとして、fluentdでログを他のサーバーに転送する方法について紹介します。 >>eXcaleは期間限定でサインアップキャンペーン実施中！気になる内容はこちら<< ログの転送について fluentdではアウトプットの手段として他のサーバーへの転送を選択することでログの集約を簡単に実現できます。 基本的な構成 設定と動作のイメージができるように、シンプルにあるサーバーからあるサーバーへ送信する例を見てみます。 以下がデータを送る側と送られる側の設定例です。 ※本記事ではバッファリングに対する設定はデフォルト値を使うため、以下のすべての例で設定はありません（設定しなければデフォルト値が使われます） バッファリングの設定については前回の記事を
fluentdの簡単な使い方、設定方法一覧
fluentdはログの転送・集約を簡単に行うためのツール fluentd ログの転送・集約を行うためのツール。複数台のサーバーを運用している時にそれぞれのサーバーにたまるログを、簡単な記述で特定の場所に集約できる。 今までは同じことをどうやって実現していたの？ バッチでコピーしたり、似たようなことをやるScribeというツールを使っていた。この方法だと、設定が複雑になりがちだし、バッチだとリアルタイムに処理することができなかった。 fluentdの利点は？ 設定が簡単、かつリアルタイムに処理できること。fluentdを使うとバッチではなくリアルタイムなストリーミング処理ができる。 fluentとfluentdのどっちの読み方が正しいの？ 一応、fluentdが正しいっぽいです。 fluentdのインストール方法 簡単なのは、GemやRPMを使ったインストール。yumでのインストールも自分で
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How to change log levels in Aerospike
Histograms for server versions before 3.9 | Aerospike Documentation
logrotateはワイルドカードでディレクトリ指定ができる
株式会社コロプラ【位置ゲーで毎日の移動を楽しく】