hildeのブックマーク - はてなブックマーク

[fluentd] #Fluentd Casual Talks で「fluentdでWebサイト運用を楽にする」話をしてきました - 酒日記はてな支店
id:tagomoris さんにお声がけいただきまして、Fluentd Casual Talks にて「fluentdでWebサイト運用を楽にする」というタイトルで発表させていただきました。発表資料はこちら主催者の id:tagomoris さん、会場を提供していただいた DeNA 様、いろいろ準備をしてくださった id:riywo さんはじめ多くの方々、参加してくださった100名以上の皆様、ありがとうございました！楽しかったです。発表ではここ半年ほど Fluentd を運用して来た経験をお話ししましたが、発表内で触れなかったことで大事(?)なことがありますので以下に補遺をいくつか書いておきます。 Mongo DB にログを溜めすぎない方がいいかも太田さん (@kzk_mover) の発表内でも触れられていましたが、数千万件程度にしておいたほうがいいのでは……という実感です。発表内
hilde 2012/06/16
fluentd
リンク
mod_concat で複数ファイルを連結して配信する - 酒日記はてな支店
先日リリースした某サービスの HTML を見ていたら、外部 js ファイルの読み込みにが十数行ずらずらと並んでいるのを発見。これ、確か Apache module でまとめて配信してくれるのがあったよなあ……とブクマを掘り起こして、mod_concat を見つけたので試してみた。ソースコードのコメントに * The Idea was initially thought of by David Davis in Vox, and reimplemented in perlbal. とあるように、もともとは Perlbal が持っている機能を Apache module にしたもの。 svn からチェックアウトして apxs でコンパイル & インストール。 $ svn checkout http://modconcat.googlecode.com/svn/trunk/ modconc
hilde 2008/11/06
apache
リンク
Spread Toolkit で Comet チャットサーバをクラスタリング - 酒日記はてな支店
PoCo::HTTP で Comet チャットサーバを作る - daily dayflower を試してみた。面白い。ついでに spread を使って、Comet チャットサーバをクラスタリングする実験をしてみる。 POE::Kernel->run(); の前に、PoCo::SpreadClient もセットアップ。 use POE::Component::SpreadClient; POE::Component::SpreadClient->spawn( 'spread' ); POE::Session->create( inline_states => { _start => \&spread_start, _sp_message => \&spread_message, } ); POE::Kernel->run(); sub spread_start { $poe_kernel-
hilde 2007/02/11
comet

perl

poe

spread
リンク
Spread Toolkit で分散ログ (1) - 酒日記はてな支店
以前 LVS + Ultra Monkey で負荷分散 (設定編) - 酒日記はてな支店で書いたように、Apache を LVS で負荷分散したのですが、この際にアクセスログを一つに (時系列を保って) まとめるにはどうすればいいか、ちょっと悩みました。結局 Apache からパイプ経由で logger コマンドを起動して syslogd でログ取得ホストに飛ばす、ということをしたのですが、いくつか問題が。ログの先頭に syslogd の日付 (Jan 24 18:33:30 www1 logger: ) が付く → 集計の邪魔 syslog は 1メッセージ 1024 byte までしか記録できないので、尻切れになる行が (稀にだけど) 発生する Linux の syslogd は書き込みの際に頻繁に sync するので、DISK IO が大量に発生して重い特に最後のは、秒間数
hilde 2007/02/09
apache

負荷対策

spread
リンク
1