dstatをkibanaで可視化＋3.0.0milestone5新機能 - ほわいとぼーど
開発中の負荷試験をモニタリングしたくてdstat＋Kibanaで組んでみました。 通常モニタリングは専用のツール（muninとか）で行うと思いますが、 今回はfluentdとKibanaの組み合わせにdstatを絡めてみます。 監視対象にはdstatとtd-agent、fluent-plugin-dstatを入れます。 インストール方法や細かい設定は割愛。 今回はdstat -ams 5相当を実施する設定とします。 fluent-plugin-dstatが出力する内容（1レコード）は以下になります。 2014-02-12T07:25:18+00:00 dstat { "hostname":"large0000.example.com", "dstat":{ "total cpu usage":{"usr":"0.400","sys":"0.500","idl":"99.0","wai":"
Fluentd Casual Talks #3[2013/12/13(Fri.)]に参加してきました。 - ほわいとぼーど
勉強会ブログたまりまくってるので今回は可及的速やかにさっくり書く。 資料やお名前は後で補完予定発表者多いので網羅できたか不安 http://togetter.com/li/602421 ①@tagomorisさん 「fluent-plugin-norikra」 ・StreamにSQLクエリを書ける ・定間隔実行クエリ（タイムバッチ）を書ける ・ハッシュの入れ子もマッチ ・numeric-monitor pluginでやるような内容を簡単に書ける ・再起動いらずでクエリを増減できる ・Fluentdの起動と連動して子プロセスとして起動できる norikra、データのつまみ食いをうまく出来ると捗りそう。 転送中に仕込んで何か気づいたり試したり将来的に整形して流したり。 あと連動して起動するの良い。 ②@sonotsさん 「Fluentdでshadowサーバを用意したら捗った話」 ・Hikank
![Fluentd Casual Talks #3[2013/12/13(Fri.)]に参加してきました。 - ほわいとぼーど](https://cdn-ak-scissors.b.st-hatena.com/image/square/344526ec8898570b262ca5463a22b794ce61d594/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F12704830469096181598%2F12921228815714469936%2F1387033206)
Elasticsearchのlogstash形式indexについて - ほわいとぼーど
indexはElasticsearchにおけるスキーマみたいなものなわけですが、 logstash形式（LogStashはjavaのログimport機構？）にした場合、 indexはimportした日毎に作成されます。 例えば今日から5日間Fluentdで取得し続けた場合、 logstash-2013.09.11 logstash-2013.09.12 logstash-2013.09.13 logstash-2013.09.14 logstash-2013.09.15 みたいにindexが1日毎に分かれて作成されます。これの利点は ・データ検索する時に日付で範囲指定すると対象データも絞れるので検索が早くなる ・ある程度経過したデータを日付で管理して削除したりできる。つまりログローテート機構 偶然、Rebuild.fmで聞いてスゲーと思いました。 データ管理まで考えられてるなんで至れり尽く
Elasticsearchのhead plugin - ほわいとぼーど
Rebuild.fmで聞いたlogstash形式が素晴らしいから頑張ってmappingをtemplatesにしたけど 実はまだlogstash形式で動かしてみてない、っていう残念な記事が昨日でしたが、 本日早速試してみました。 logstash形式にはしたばっかりでまだデータ溜まってないので、 自力でlogstash形式になるようにログの日付と同じindexを作って入れて Kibana3でlogstash形式で見てみましたが普通に動きました。 日付も@timestampではなくログから入れたrequest_time指定で問題なく。 ※このrequest_timeとかいう名前付けが紛らわしいかもしれないことを 今更ながら気づきましたが今の所は勘弁してやってください。 Apache2ログにおける日付の部分を抽出したもののことです。 きっとFluentd設定を説明する回があったらこの話もするはず
fluentd-plugin-elasticsearchでのログ時刻の扱い - ほわいとぼーど
これまでの自分のElasticsearch関連の記事では"request_time"という 独自に定義したラベルを用いて登録を行っていました。 一方、fluentdは"time"というラベルを用いるとログの時刻をfluentd内で扱うイベントタイムとみなします。 "time"とした場合と、それ以外でfluentd-plugin-elasticsearchの動作に 違いが見られたのでメモしておきます。 ところで"request_time"としたのには理由があったのですが、 その理由は本筋ではないので最後に書くことにします。 ①ログ時刻を通常のラベルを用いて登録する場合 この場合はラベル名を"time"以外にしてパースします。 つまりこれまでの場合は"request_time"としていました。 この時点では他の項目と同じJSON(MessagePack)の一項目なので文字列です。 そしてそのラ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
