aki77のブックマーク - はてなブックマーク

fluentd のベンチマークとってみたよ！ - たごもりすメモ

入出力プラグインをrubyで書けるのがじつにいい感じの fluentd がいい感じに見える。 fluent/fluentd · GitHub ので使えるかどうか、使えるとしたらどれくらいのノードを用意すればいいのかについて考えるため、とりあえずベンチマークをとってみた。結論以下非常に長くなるので結論だけ書くと、大変使える感じ。現状だとほとんど何も考えずにデータ中継させても秒間1万メッセージ、100Mbpsくらいまでは処理できる。効率よくなるよう流す側も考えてやれば 300Mbps を超えるデータの転送に成功した。だいぶいい感じ。なおこれは in_scribe および out_scribe を使用した場合で、開発者 @frsyuki によるとMessagePackでのデータ転送の場合はこの倍くらい出るらしい。もちろんこれは右から左に流しただけなので現実にタグによるルーティングだとかロ

aki77 2011/11/18

ruby
fluentd

リンク

Webサーバ勉強会#4に行ってきた＆しゃべってきた #study2study - たごもりすメモ

参加者全員が何かしらしゃべるという大変にハードコアな勉強会「Webサーバ勉強会」*1に行ってきた＆しゃべってきた。今回のお題は nginx で、あちこちで名前は聞くけどそこまでみんな使ったことがあるわけでもないという微妙な普及具合にうまく目をつけてる。 Webサーバ勉強会 #4 : ATND 主催の @oranie さん、および参加者のみなさま、お疲れさまでした！で、自分がしゃべった内容は以下のスライドの通り。 livedoor blogのsorryサーバの話 #study2study View more presentations from tagomoris 9/14にあったlivedoor blogメンテナンス専用のsorryサーバの話だけど、性能面のグラフとかぜんぜん記録とってなかったので実績分についてはだいぶあいまい。当日も朝方は意識が朦朧としてたし。設定ファイルその他はぜんぶ

aki77 2011/11/14

リンク

Apacheのログをタブ区切りにするのは本当にお得か - たごもりすメモ

Apacheログのパーサを書いてて気付いたので。どれくらい解析プログラムにやさしくなるかというと、これくらい。 Benchmark: running rx_naive, rx_optim, tsv for at least 3 CPU seconds... rx_naive: 3 wallclock secs ( 3.15 usr + 0.00 sys = 3.15 CPU) @ 2417.71/s (n=7612) rx_optim: 3 wallclock secs ( 3.78 usr + 0.00 sys = 3.78 CPU) @ 78526.94/s (n=296930) tsv: 4 wallclock secs ( 3.02 usr + 0.00 sys = 3.02 CPU) @ 646447.96/s (n=1954495) Rate rx_naive rx_opti

aki77 2011/09/26

apache
log

リンク

xargs を使ってカジュアルに並列処理 - たごもりすメモ

シェルからでも重い処理というのはちょこちょこあって、例えば超デカいログファイルを移動して圧縮したりというお仕事は世界中のあらゆる場所で毎日行われていたりする。コマンドラインからでも大量の圧縮済みログファイルをいっぺんに展開したい、とか。あるディレクトリ以下に存在するたくさんのファイルを(圧縮済みのものを除いて)全部 bzip2 圧縮したい！と思ったら、とりあえずさくっと次のようにコマンドラインで叩けばいい。 $ find . -not -name '*.bz2' | xargs bzip2 これで、まあそんなに問題なく効率的にbzip2圧縮ができる。だがしかし。最近は複数コアのCPUが普通に転がってるし、あまつさえHyperThreadingが有効になってたりしてOSから見える論理CPU数がハンパない。普通に8とかある。その一方で複数コアを使用してくれるコマンドというのはあんまりなくて

aki77 2011/05/14

linux
shell

リンク

ネットワークの遅延について真面目に書く - たごもりすメモ

遅延（レイテンシ）とはなにか？ - はてなポイント３万を使い切るまで死なない日記この記事に果てしなくテキトーなことが書いてあってこれを真っ向から信じられると大変迷惑なので、こと細かに真面目に書くことにする。 ……つもりだったが、なんか果てしなくめんどくさくなったのでテキトーに書き散らすことにした。大学の教科書にそのへん詳しいのがいくらでもあったのに、見付からねーし。どこいったんだ。信号の伝送速度についてまず光速度 3.0*10^8 m/s というのは真空中の値*1であって、光ファイバや電線の信号伝送速度はもっと遅い。一般的には光ファイバが 2.0*10^8 m/s 程度とか言われていて、電線についてもモノによってあれこれある。詳しくは波長短縮率とかの単語でググれ。ざっくりとでも30万キロとか恥ずかしいことは言うな。またどんな距離の都市間でも直接接続できるわけではない。500kmくら