Rust実装のabライクなツール boom-rustを書きました | hexacosa.net
最近会社のエンジニアでも Rust を使っている方がいてモチベーションさらに上がってきました。 近くで話せる人がいるというのはいいですね。といっても大阪と東京で離れてはいますが。 で、本題ですが、 boom-rust というabライクなツールを書いてみました。 もともと Python実装のboom と Go実装 があり、Rustで実装したらでどれくらいパフォーマンス違うのかなというのを比較できるかなと思い書いてみた次第です。 モチベーション 今自分の中でRustについていろいろ調べたり知見ためているところで、 小さなツールとかからプロダクション環境に投入していきたいなと考えてるところです。 その知見ためる一環として実際のツールなりライブラリをいろいろ書いていこうというのがあり、 boom-rustもそういうモチベーションで書きました。 今そういったツールは主にGoで書いてたりするので、 特
Webサーバのベンチマークツールはh2loadが便利 - 人間とウェブの未来
Webサーバのベンチマークをとるのが趣味になりつつあるmatsumotoryです。 Webサーバのベンチマークについては、abからはじまりwrk等を使っていたのですが、最近ではほぼh2loadを使っています。 h2loadはnghttp2というHTTP/2ライブラリのアプリケーションに含まれているツールですが、 HTTP/2（SPDYも）とHTTP/1.xに両対応している ベンチマーク側の同時スレッド数を増やせる TLS及びSNIもサポートしている 最小、最大、平均、標準偏差あたりもちゃんとでる ので、色々プロトコルを変えつつ同じベンチマークツールで、値の目安を出すにはとても重宝しています。 Nghttp2: HTTP/2 C Library - nghttp2.org 実行結果のサンプルは例えば以下、 $ h2load -c 100 -n 10000 https://localhost:
開発中のPerlのモジュールでブランチ間をまたいでベンチマークを取る - その手の平は尻もつかめるさ
ほぼ100%藤原さんの記事の受け売りですが…… [perl] Perlで同じコードを違うバージョンのモジュールでベンチマークする - 酒日記 はてな支店 モジュールを開発している時に，フィーチャブランチの変更が性能に対してどれくらい影響を及ぼしているかを調べたくなる時があると思います． それやるの面倒くさそうだなー，と思ったんですが割と楽ちんだったので書いておくことにします． 手順としては，藤原さんの記事とほぼ同じで， 対象となるブランチ (例えばmasterとかdevとか) にcheckout cpanm . -l master -n等でモジュールをextlibにインストール (masterは任意の名前) もう1つの対象となるブランチ (例えばfeatureとかhotfix) にcheckout cpanm等でextlibにインストール Benchmark::Forkingを使ってベンチ
Go言語を含む複数種類の言語により実装されたソフトウェアのベンチマーク - Qiita
本稿では、Goを含む複数種類の言語により実装されたソフトウェア(具体的には、シャドウプロキシサーバ)のベンチマークを行うことで、各言語間の差異について考察します。 シャドウプロキシサーバとは？ Webアプリケーションのテストをいくら入念に整備したとしても、実際に起こり得るすべての可能性を網羅することは難しいのはもちろん、同じコードを複数の環境(言語やフレームワーク、ミドルウェア等のバージョン)で同じように動作することを保証するのは至難の業です。そこで、ユーザの実リクエストを複製して、稼働中の環境とは別に用意したテスト用の環境にもリクエストを送ることで検証をするというアプローチがとられます。そのために使われるツールのことを、シャドウプロキシサーバ(shadow proxy server)と呼びます。 最近では、気軽なMySQLバージョンアップ - まめ畑において、MySQLのバージョンアップ
fluentd + elasticsearch + kibana + siege でお手軽に web サイトのレスポンスタイムを可視化する試み - ようへいの日々精進XP
はじめに 前回の続き ログを elasticsearch に投げる部分を fluentd でやってみることにする（厳密には td-agent） 参考 FluentdからMongoDBにデータを文字列(string)から数値(integer)に変換して入れる IT 東京 楽しいと思うこと すぐに使える！正規表現サンプル集 準備 fluentd のプラグインインストール fluent-plugin-elasticsearch elasticsearch にログを投げる為に... /usr/lib/fluent/ruby/bin/fluent-gem install fluent-plugin-elasticsearch --no-ri --no-rdoc -V fluent-plugin-typecast elasticsearch に送るデータの型を変換する為に...理由は後述。 /usr/
WebサーバーをNginxのReverse proxy+cacheに変えたときのチューニングメモ | hirobanex.net
このブログのバックエンドApacheからNginxに乗り換えたので、それまでの流れをメモとして公開します。Nginxをわざわざ使う上でやっておいたほうがいい基本的な設定とリバースプロクシキャッシュの動く設定からベンチマークツールの賛否両論まで。 次世代WebサーバーのNginxという未来へ! 「Nginxがすごい!!!」みたいな話を聞いて、はや4年。なんだかよくわからず、Apacheを使い続けていましたが、やっとNginxのすごさがわかったので、乗り換えました。そのあたりのより入門的な内容やApacheでよくやる設定をNginxでどうやろうかもつらつら調べているので、そのあたりは別記事としてたぶん公開するとして、まず手っ取り早く導入しないとそのあたりをやる気力もなくなるので、個別のカスタマイズはさておき、導入内容ついて記事にしておきます。とりあえず、Nginxの公式サイトでも見てみるといい
スケール可能なTwitterの負荷テストの仕組み [GTAC 2013] - ワザノバ | wazanova.jp
[Video] http://www.youtube.com/watch?v=99RABfKNfcY [Slide] http://goo.gl/9VY2b TwitterのJames Waldropが、オープンソースのロードジェネレータライブラリlagoと、スケールが可能な負荷テストの仕組みについてGTAC (Google Test Automation Conference) 2013で語ってます。Twitterには本番トラフィックの一部を利用したテストもありますが、本講演ではテスト環境でのロードジェネレータを話題にしてます。 FacebookからTwitterに転職し、lagoをつくった理由は、 ありあわせのツールをもってきて使ってもだめで、エンジニアであれば何か開発しないと他のエンジニアから尊敬されない。 Scalaで書いてみたかった。 既存のロードジェネレータはどれも役に立たない
Siege Home
ABOUT SIEGE Siege is an http load testing and benchmarking utility. It was designed to let web developers measure their code under duress, to see how it will stand up to load on the internet. Siege supports basic authentication, cookies, HTTP, HTTPS and FTP protocols. It lets its user hit a server with a configurable number of simulated clients. Those clients place the server “under siege.” PLATFO
[perl] Perlで同じコードを違うバージョンのモジュールでベンチマークする - 酒日記 はてな支店
複数バージョンのモジュールで同じコードを実行してBenchmark.pmで計測したい、というケースにこう書けばいいかな、という例。 普通にBenchmark.pmを使ってしまうと同一モジュールを違うバージョンで複数読み込むことができないため、 バージョンごとに子プロセスを fork 子プロセスで use lib して @INC を追加してから use 計測した結果をファイルに保存して親プロセスで集約、表示 という流れで書きます。 use strict; use Benchmark qw/ :all /; use File::Temp qw/ tempfile /; use Storable qw/ nstore retrieve /; # 計測したいコード my $code = sub { my $c = Cache::Redis->new; for ( 1 .. 10 ) { $c->s
![[perl] Perlで同じコードを違うバージョンのモジュールでベンチマークする - 酒日記 はてな支店](https://cdn-ak-scissors.b.st-hatena.com/image/square/2f4f2e1bfae364f13d3bb5210f048b6e928302dc/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F13208692334729889028%2F8454420450078126085%2F1419604085)
“ドラゴンクエストXの舞台裏”サーバ・データベース開発のプロが語る、数十万人がいっしょに遊べるゲームができるまで【CEDEC 2012】 - ファミ通.com
“ドラゴンクエストXの舞台裏”サーバ・データベース開発のプロが語る、数十万人がいっしょに遊べるゲームができるまで【CEDEC 2012】 数十万人の冒険者を支える“バックエンド”とは 2012年8月20日～22日、パシフィコ横浜にて開催されている、日本最大のコンピュータエンターテインメント開発者向けカンファレンス“CEDEC2012”。3日目の2012年8月22日に行われた、“ドラゴンクエストXの舞台裏”と題したセッションをリポートしよう。 非常に胸躍るタイトルが付けられたこのセッション。CEDECに訪れたクリエイターたちの興味も高く、立ち見どころか、会場に入りきらないほどの多くの聴衆が詰めかけた。スピーカーは、スクウェア・エニックス開発部 プログラマの森山朋輝氏。森山氏は、「サーバサイドのマニアックなテーマなので、まさかこれほど多くの方が集まるとは……」と驚いた様子を見せつつも、極めて興
Parallel::Benchmark というモジュールを書きました - 酒日記 はてな支店
プロセスを並列に立ち上げて負荷を掛けるようなベンチマークを実行することって、よくありますよね。(例 : クエリキャッシュを切ったほうがいイカ？ ベンチマークしてみた - 酒日記 はてな支店) Perl で Parallel::ForkManager を使うとそういう処理も簡単に書けて便利なのですが、何度も同じようなコードを書くうちに、これもうちょっと抽象化したら使いやすいかも、と思って Parallel::Benchmark というモジュールを書いてみました。 リポジトリはこちらです。 https://github.com/fujiwara/p5-Parallel-Benchmark たとえばフィボナッチ数 fib(10) を求めるベンチマーク。 use Parallel::Benchmark; sub fib { my $n = shift; return $n if $n == 0 o
perl - @_をコピーするコスト : 404 Blog Not Found
2011年07月17日22:00 カテゴリLightweight LanguagesTips perl - @_をコピーするコスト Perl Best Practices Damian Conway [邦訳:Perlベストプラクティス] これ、やけに差がないと思いきや… Perlで重複した要素をユニークにする - ichirin2501の日記 ふと、どのコードが速いのか気になったのでベンチマークを取ってみました。 id:ichirin2501のコードのどこに問題があるかは、以下のベンチマークを走らせてみればわかります。 #!/usr/bin/env perl use 5.012; use Benchmark qw/:all/; sub uniq_copy { my @array = @_; my %hash; @hash{@array} = (); return keys %hash; }
Released FurlX::Coro! - Islands in the byte stream (legacy)
Coroを使うと簡単にFurlで並列HTTP通信が出来ます。 #!perl # usage: http-ping.pl [urls...] use strict; use warnings; use Coro; use Coro::Select; # Furlよりも先にロードすること！ use Furl; my @coros; foreach my $url(@ARGV) { push @coros, async { print "fetching $url\n"; my $ua = Furl->new(); my $res = $ua->head($url); print "$url: ", $res->status_line, "\n"; }; } $_->join for @coros; __END__ わざわざモジュール化する必要はあまりないのですが、上記スクリプトが時々参照される
【Perl】Parallel::ForkManagerモジュールで並列処理が便利過ぎて生きているのが辛い - oranie's blog
とあるDBを利用したバッチ処理をやらせようとした時に #スクリプトの一部分 my @list1 = (適当なリストその1); my @list2 = (適当なリストその2); foreach my $value1 (@list1){ foreach my $value2(@list2){ #DBに接続して、あるテーブルのレコード件数countする→ #その結果を別テーブルにUPDATEするSQL実行処理; } }というまあ、foreachでグルグルグルグル回すスクリプトを書いたんですね。 で、まぁこれがクソ重かったんですね。テーブルのデータは全部メモリ上に載っているんですが、 10GB（1億レコードぐらい）ぐらいのテーブルで順番に$value1,$value2の変数を条件に使ってCOUNT()を使用した SELECT文を投げるので、一つのSQL投げたらDB側のCPUコアが100%になってし
Apacheパフォーマンス・チューニングの実践
セッションのチューニング ここまでのチューニングは、必要か必要でないかを判断すればよく、手探りで最適な値を探し出すというものではなかった。しかし、これから紹介する「セッションのチューニング」はそうもいかない。ある程度の見通しは立てられても、最適な答えを見つけるのには手間がかかってしまう。 KeepAliveとセッションの切断 セッションのチューニングの手始めとして、「KeepAlive」について考えることにしよう。KeepAliveはHTTP/1.1から用意されたもので、クライアントとの接続を保持する仕組みである。HTTPは「ステートレス・プロトコル」と呼ばれるとおり、1回の要求（リクエスト）ごとに接続が切断される。しかし、今日では1つのWebページを表示するために複数のファイルが必要となる場合がほとんどなので、1リクエストごとに接続を切っていたのでは効率が悪い。そこで考え出されたのがKe
httperf - TenForward
httperf をちょい突っ込んで使うので，関係しそうなオプションだけ man を超訳(←所々 ^^;)してみました． httperf [--add-header S] [--burst-length N] [--client I/N] [--close- with-reset] [-d|--debug N] [--failure-status N] [-h|--help] [--hog] [--http-version S] [--max-connections N] [--max-piped-calls N] [--method S] [--no-host-hdr] [--num-calls N] [--num-conns N] [--period [d|u|e]T1[,T2]] [--port N] [--print-reply [header|body]] [--print- re
httperf - TenForward
また負荷テストやってるんですが (いい加減誰かに振りたい ^^;)，Apache Bench だと，またまた apr_poll: The timeout specified has expired (70007) が出てしまって，ダメダメ．接続先が劇重サーバという前提なんですがね．このタイムアウトは何のタイムアウトなのか，これだけでは謎なんですが (ちょこっとソースも見てますが分からず)． で，仕方ないので httperf (現在は sourceforge に移っているけど，ダウンロードファイルはまだない) を試してみることに． とりあえず % ab -c 1 -n 10 http://example.com/path/ みたいにやってたので， httperf --num-conns 10 --num-calls 1 --server example.com --uri "/path/"
httperf からトラックバック - TenForward
サーバ上で HTTP サーバを動かし，その上にブログソフトを置いて，そのブログに対してトラックバックを送る負荷テストをやっていたので，方法を忘れないようにメモ． 例えば， # httperf --server=example.net --wsesslog=1,1,test3 --add-header="Content-Type: application/x-www-form-urlencoded\n" という風にして，test3 ファイルを /path/to/trackback?id=1 method=POST contents="url=http://example.com/blog/1&title=TEST&blog_name=Blog&excerpt=Test" みたいにすると OK でした． (追記1) test3 ファイルの書式間違ってましたので，修正しました．行頭にコメントを意
httperf Web Workload Generator
httperf is a software tool which is able to simulate load situations for web services, and calculates performance metrics against the results. The purpose of httperf is to help answer a number of complex or otherwise hard to investigate questions. For instance, it is usually desirable when designing and programming a website to be interested in how well it will perform under a variety of cirumstan
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Philosophy · Twitter Iago