[fluentd] 同じメッセージを間引く fluent-plugin-suppress を書いた - 酒日記 はてな支店
fluentdで、なんらかの理由で大量に同じメッセージが送信されてきたときに、それを渡す output plugin によってはちょっと困ることがあります。たとえば out_mail を使うとメールが大量に飛んでしまう。 ということで、同じ (指定したkeyの値を連結したものが同じ) メッセージを適当に間引いてくれるプラグインを書きました。 fujiwara/fluent-plugin-suppress · GitHub fluent-plugin-suppress | RubyGems.org | your community gem host 使いかた <match foo.**> type suppress interval 10 num 2 attr_keys host,message add_tag_prefix sp. </match>[interval] 秒間に [num]
![[fluentd] 同じメッセージを間引く fluent-plugin-suppress を書いた - 酒日記 はてな支店](https://cdn-ak-scissors.b.st-hatena.com/image/square/fbe45b63f78799e04b3fba8c472dc405c46399f7/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F13208692334729889028%2F8454420450078126111%2F1419604097)
cron で > /dev/null して椅子を投げられないための3つの方法 - 酒日記 はてな支店
(タイトルは釣りです) いい加減、>/dev/null 2>&1と書くのをやめたらどうか - DQNEO起業日記 この記事のタイトルが twitter で流れてきたのを見て、「そうだ！出力を /dev/null に捨てるなんてとんでもないよね！」と思ってよく読んだら /dev/null に間違いなく捨てる方法だったのでつい crontabに > /dev/null 書いたら椅子投げる 2012-06-13 00:01:17 via YoruFukurou とつぶやいてしまったのですが、では出力を捨てないためにはどうすればいいのか。現時点での個人的ベストプラクティスを書き留めておきます。 デフォルト : メールで送る (MAILTO) せっかく cron daemon がログを捨てないためにわざわざメールで送ってくれるのに、それを > /dev/null で踏みにじるとはひどい。 とはいえ、
[fluentd] #Fluentd Casual Talks で「fluentdでWebサイト運用を楽にする」話をしてきました - 酒日記 はてな支店
id:tagomoris さんにお声がけいただきまして、Fluentd Casual Talks にて「fluentdでWebサイト運用を楽にする」というタイトルで発表させていただきました。 発表資料はこちら 主催者の id:tagomoris さん、会場を提供していただいた DeNA 様、いろいろ準備をしてくださった id:riywo さんはじめ多くの方々、参加してくださった100名以上の皆様、ありがとうございました！楽しかったです。 発表ではここ半年ほど Fluentd を運用して来た経験をお話ししましたが、発表内で触れなかったことで大事(?)なことがありますので以下に補遺をいくつか書いておきます。 MongoDB にログを溜めすぎない方がいいかも 太田さん (@kzk_mover) の発表内でも触れられていましたが、数千万件程度にしておいたほうがいいのでは……という実感です。 発表内
DRBD + Keepalived + iSCSI target を VMware ESXi から使うメモ - 酒日記 はてな支店
単なるメモです。 ホストを 2台用意して DRBD でミラーリング iSCSI Enterprise Target で iSCSI target にする Keepalived VRRP で VIP を振って Master/Backup 構成で failover 可能に VMware ESXi からその iSCSI target 上に仮想マシンを構築 failover しても仮想マシンが止まらない という構成ができた。OS は CentOS-5.2。 仮想マシンで make などをして、IO がガリガリ起きている状態で failover (マスターになっているマシンの電源断とか) しても、仮想マシン側では IO が数秒待たされるだけで特にエラーなどは起きず。結構気持ちいいなこれ。 ただし、DRBD のプロトコルが A or C だと大丈夫だが、B だと仮想マシン側で IO error が大量
Daemon::Generic 2題 - 酒日記 はてな支店
以下 2点。ちょいと困ったので調べた。 1. Daemon::Generic で書いた daemon を cron から起動するとゾンビが残る件 2. logger 経由で表示されるログの pid が、自分のじゃない件 まず、プロセスを daemon 化する処理について。 Unix Programming Frequently Asked Questions 日本語訳 - 1 プロセス制御 / 1.7 プログラムをデーモンとして動かすにはどうすればいいですか?と Daemon::Generic のソースを見比べたら流れが違う。 fork() setsid() fork() STDIN, STDOUT, STDERR を close して open という流れだと理解したんだけど、Daemon::Generic は gd_daemonize() の中で STDOUT, STDERR を cl
Spread Toolkit で分散ログ (1) - 酒日記 はてな支店
以前 LVS + Ultra Monkey で負荷分散 (設定編) - 酒日記 はてな支店 で書いたように、Apache を LVS で負荷分散したのですが、この際にアクセスログを一つに (時系列を保って) まとめるにはどうすればいいか、ちょっと悩みました。 結局 Apache からパイプ経由で logger コマンドを起動して syslogd でログ取得ホストに飛ばす、ということをしたのですが、いくつか問題が。 ログの先頭に syslogd の日付 (Jan 24 18:33:30 www1 logger: ) が付く → 集計の邪魔 syslog は 1メッセージ 1024 byte までしか記録できないので、尻切れになる行が (稀にだけど) 発生する Linux の syslogd は書き込みの際に頻繁に sync するので、DISK IO が大量に発生して重い 特に最後のは、秒間数
LVS + Ultra Monkey で負荷分散 (設定編) - 酒日記 はてな支店
ライブドアテクノロジーセミナーに行ってきましたよ。 id:naoyaさんは LVS++という話 でしたが、自分も 1年ほど前に、某サイトの負荷分散を LVS + Ultra Monkey (heartbeat + ldrectord) でやったので、社内 Wiki に書いてたメモを晒しておきます。 # 今なら heartbeat じゃなくて keepalived が普通なのかも知れず、情報が古めの可能性はあります LVS の Director を 2台で HA 兼 Real Server (httpd) ＋ Real Server 1台 (httpd) DB Server 1台 という構成。 LVS と Real Server を別にするのはちょっとコスト的にもったいなかったため、Director と Real Server を同一マシンに乗せる形に。http://ultramonkey.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
