YAPC::Asia 2010 を終えて (it's time to write code) - kazuhoのメモ置き場
今年の YAPC::Asia も大盛況。"Welcome Perl" というテーマにふさわしく、ハッカーの人たちが何をやっているのかに留まらない、幅広い実用的な話を聞くことができました。 その好例が峰松さんのLT「基幹システムがperlでどうしてこうなった」 であったり nekokak さんの「省サーバ運用」であって、Perl はウェブアプリケーションのためだけの言語ではないし、ともすれば注目されがちな大規模なウェブサービス以外の現場でも、我々は皆、日々それぞれの課題と戦っているんだということを確認できたのはうれしかったです*1。 でも共感するだけで立ち止まってはいられない。職業プログラマは、コードで成果を出して行く仕事なわけだし*2。 YAPC::Asia 2010 で学んだことをどうやって適用していくか。その成果を来年持ち寄れれば、またすばらしいカンファレンスになるんじゃないかと思いま
TwitterやFacebookのURLには、なぜ#!が含まれるのか (SEOとAjaxのおいしい関係) - kazuhoのメモ置き場
Ajaxを使うためにはページ内リンク (hash fragment=URLの#以降) を使うのが一般的*1 hash fragmentはサーバに送信されないから、JavaScript非対応のブラウザだと動作しない 特にサーチエンジンのクローラ等で問題になる*2 そこで Google は、#! が含まれる URL を hash を含まないものに読み替える仕組みを提唱している。例えば「www.example.com/ajax.html#!key=value」のサーチエンジン用URLは「www.example.com/ajax.html?_escaped_fragment_=key=value」になる。 TwitterやFacebookはこの仕様に従うことで、Ajax な UI と SEO を同時に実現している、というわけ。ということを調べたなう。 参照: Getting Started |
Test::mysqld で Q4M のテストを書く方法 - kazuhoのメモ置き場
yappo perl, test, memcached Test::memcached もほすい Test::Q4M もほすぃ Test::Pg もほすい はてなブックマーク - yappoのブックマーク / 2009年8月10日 Test::Pg は書いた。memcached は個人的に需要がない。Q4M のテストなら、こんな感じで書けます。 use strict; use warnings; use DBI; use Test::More; use Test::mysqld; my $mysqld = Test::mysqld->new( my_cnf => { skip_networking => '' }, ) or plan skip_all => $Test::mysqld::errstr; { # setup my $dbh = DBI->connect( 'DBI:mysq
Perlでマルチプロセスデーモンを作るためのモジュール「Parallel::Prefork」に(Min|Max)SpareServers対応を追加した話 (もしくは read(2) / write(2) の atomicity) - kazuhoのメモ置き場
Perl で複数のワーカープロセスを制御するためのモジュールとしては Parallel::ForkManager が古参なんだけど、このモジュールはプロセスを fork するだけで、シグナルを受信したらワーカープロセスを再起動とかそういうことができないので、自分は Parallel::Prefork というモジュールを自作して、たとえば Plack の Server::Standalone::Prefork とかで使っています。 で、まあ、prefork なサーバとか書いてると、(Min|Max)SpareServers 対応してないんすか？ というのは FAQ なわけで。プロのサーバ管理者の間では存在価値が疑問視されて久しい (Min|Max)SpareServers だと思うんですが、まあ書いてみるのもいいかと思って Parallel::Prefork のディストリビューションに Pa
nopan っていうレポジトリから直接ソフトウェアをインストールするインストーラを作り始めた件 - kazuhoのメモ置き場
perl の場合、CPAN モジュールは sudo cpan -i Module の１コマンドでインストールできる。でも、svn や git レポジトリのコードは、チェックアウトして perl Makefile.PL && make all test && sudo make install とか、めんどくさい。 なので、svn や git レポジトリからソースコードをダウンロードしてインストールするツールを作り始めた。名前は、CPAN モジュール以外も簡単にインストールできるところから、Not-only CPAN、略して nopan。 こんな感じで動きます。まだ適当だけど。 $ sudo nopan http://github.com/kazuho/kaztools.git downloading files from URL:http://github.com/kazuho/kazto
それでも私が Perl を使いつづける理由 - kazuhoのメモ置き場
元ネタ: http://d.hatena.ne.jp/tokuhirom/20100120/1263958061 なぜ俺が $@%* を使いつづけるのか。* とか良く分かってないけど。 システムプログラミングができる 例えば低水準I/Oが標準で用意されているとか。 gccがない環境にも入っている gccがない環境にも入っている。XenServerのDom0とかにも入ってる。確かLSB 3.2で必須になったらしいので、普及度が上がることはあっても下がる可能性は低い。 インタプリタである Un*x系なら大抵どこでも動く 豊富で(かなり)安定したライブラリ群 CPANのライブラリの量はすごい。それにAPIを無闇に変更したりするとDISる文化が定着してるっぽいので、比較的安心して使える。 まとめ ウェブアプリとか管理ツールとか C/C++ じゃなくてもいいケースで生産性を上げるために使ってる。それ
自作って得なのかなと思って計算してみた (自作サーバカンファレンス感想) - kazuhoのメモ置き場
一昨日、自作サーバカンファレンスに参加してきました。とてもおもしろく色々刺激をうけました。はてなの田中さん楽天の方々始め、スピーカーの皆さんありがとうございました。ただ分からなかったのは、サーバを自作する必然性がどの程度あるのかな、という点でした。 確かに、発表者の方々が構築されているような、1CPU, 8GBメモリのような構成では、自作サーバには（少なくとも原価ベースでは）価格競争力があるようです。はてなさんは Core 2 Quad + 8GBメモリ + X25-M (SSD) で10万円という目安を提示してらっしゃいましたが、同等の構成をベンダーから購入するとなると、1.5〜2倍の価格になるのかな、と思います。例えばDELLのオンライン価格*1は以下のようになっています*2。 DELL PowerEdge R200 - \145,900- Xeon X3330 (2.66GHz, Q
(特にMyISAMを使っていた)ウェブ屋さんがInnoDBを使う場合の設定項目 - kazuhoのメモ置き場
InnoDBはMyISAMと比較して安全(OSクラッシュや電源断が発生してもテーブルが壊れない)分、書き込みが遅い。データベース屋さんからすると、それは当然のことでMyISAMがおかしいんだ、ということになり、だからバッテリバックアップ機能のついたRAIDカードを使うんだ、という話になる。でも、MyISAMを使っているウェブ屋さんの現場では、場合によって多少データが消えてもかまわないから、安いハードウェアで大量のアクセスを捌きたい... って乖離があるんじゃないかなーと思ってる。 そのような場合には、my.cnf の innodb_flush_log_at_trx_commit パラメータを調整することで、MyISAMに比肩する書き込み速度を得ることができる(そのかわり、クラッシュや電源断の場合は、設定によって直近１秒以内の変更が失われる)。 他のパラメータも含めて書いておくと、データベー
彼氏がMyISAM使ってた。別れたい… - kazuhoのメモ置き場
追記: マジメな比較はこちら：Open database life: MyISAMとInnoDBのどちらを使うべきか MyISAMだとPostgreSQLと並べられた時なんか恥ずかしいｗｗ 下向いちゃうしｗｗ ウェブサイトにはせめてInnoDB使って欲しい・・・ 勉強会とかで発表されたら・・・・もう最悪ｗｗ せめて普通にトランザクションやMVCCぐらいは対応して欲しい。 常識的に考えて欲しいだけなんです！ MyISAMでテーブルロックしちゃった時の遅さとか分かる？ あのね？たとえばピーク時10〜20並行ぐらいで書込みとか行くでしょ？ それぞれ別の接続で来るわけじゃない？ みんな普通にグループコミットやアシッドネス期待してるわけでしょ？ MyISAMでテーブル壊れてリペアしてたら大恥かくでしょうがｗｗ じゃあ MyISAM はどういう用途に適しているのか。待て！ 次号！*1 参考: 彼氏が軽
サーバやI/O待ちを含むベンチマークを Benchmark::cmpthese で比較してはいけない、という話 - kazuhoのメモ置き場
Benchmark.pm の cmpthese は手軽に速度の比較ができるのでとても便利。でも、そもそも何のパフォーマンスを比較しているのか？ ソースコードを読めばわかるけど、 perl プロセスのCPU使用時間 あるいは、上記＋子プロセスのCPU使用時間 を測定している。換言すると、プロセス間通信のオーバーヘッドやサーバ側での処理時間はベンチマーク結果に反映されない。つまり、サーバのベンチマーク（あるいはプロセス間通信やI/O待ちを含むベンチマーク）を比較したい場合には、cmpthese を使うべきではない。 ＃サーバと通信するクライアントモジュールのベンチマークがほしい、といった場合はOK どうしても Benchmark.pm を使いたいなら、 use Benchmark qw(:hireswallclock); my $r = timethese(...); for my $v (v
HTTPプロトコルパーサのオーバーヘッドは18%以下という話 - kazuhoのメモ置き場
「テキストプロトコルは遅くないよ」という話 - kazuhoのメモ置き場に関するの具体的な話。 Kazuho@Cybozu Labs: 「サーバ書くなら epoll 使うべき」は、今でも正しいのかを書く際に自作したベンチマークツールがあるのですが、それを使ったベンチマーク結果をid:tokuhiromがhttp://d.hatena.ne.jp/tokuhirom/20091001/1254355956にまとめてくれている*1。それについて、ちょっと補足と実測値を。 まず、コメントにも書いたんだけど、サーバのスループットを測る際にはTCP接続を多重化する必要があるので、-a 100 -n 100 -f *2のようなオプションでベンチマークをとってください。あと、ローカルホスト上での測定か、ホスト間での測定か、によっても当然結果は変わる。 自分の環境 (linux 2.6.18-028sta
HTTP::Parser::XS - a PSGI compatible, fast http parser - kazuhoのメモ置き場
んー、と思って、書いた。GitHub - kazuho/p5-http-parser-xs: a fast http parser BLURB は、 PSGI のリクエストオブジェクトを返す 高速 同期 httpd, 非同期 httpd のどちらを実装する際にも使用可能 POST コンテンツのハンドリングはご自分で いったんファイルに入れたり、いろいろ要件があるし、パース作業は発生しないので Perl でもあまり遅くならないため てな感じです。以下ベンチマーク。 $ ./http-parser-vs-xs-benchmark.pl Rate HTTP::Parser HTTP::Parser::XS HTTP::Parser 2978/s -- -95% HTTP::Parser::XS 54348/s 1725% --ベンチマークに使ったコードは、以下のとおり。 #! /usr/bin/
mysql と drizzle の負荷テストツール「skyload」が凄い！ - kazuhoのメモ置き場
tmaesakaさんがやってくれました。 ずいぶん前からSQLのベンチマークを測定するのに使いやすいプログラムないかなーと思ってました。個人的にはmysqlslapというのを使ってたのですが、幾らか気に入らない所があったりコマンドラインオプションが複雑で毎回 --help を読んだりしていました。余計な機能なんかなくて、指定したSQLを高速にくりかえしてくれる物が欲しいなぁって思ってたんです。 とあるIRCでこの前、tmaesakaさんから「いま作ってる」という話を聞いて、いろいろ要望を言ってたんですが、ついさっきチュートリアルが公開されました。速いw 名前はskyload。とても小さく、実装コードだと800行程度です。しかもオプションが少ないので使い方が単純です。試しに適当な INSERT の速度を測ってみました。 $ skyload --server=localhost --mysql
svn レポジトリの参照先を変える方法 - kazuhoのメモ置き場
2009年7月6日追記: 以下は svn switch あるいは svn switch --relocate が使えない場合の話です。 Subversion のレポジトリが移行したときに、手元に co してあるソースをそのまま、レポジトリの URL だけを書き換えたいことって結構ある。 ＃運用サーバへのデプロイが svn co だったりすると で、.svn/entries を書き換えるって手もあるらしいけど、なんかうまく行かなかったので、.svn ディレクトリを新しいレポジトリから取ってきたやつに差し替える方法で対処。以下手順。 % svn co http://new-repo /tmp/new-repo % (cd cur-repo && find . -name .svn -type d) > /tmp/cur-repo.dotsvn % (cd /tmp/new-repo && fi
セキュアな XS ローダー - id:kazuhookuのメモ置き場
perl のプロセス内でサンドボックスを作ろうと思うと、少なくとも以下の２点が必要です。 オプコードの制限 DynaLoader::dl_install_xsub を利用したネイティブコード注入 このうち、オプコードの制限については、ops モジュールで行うことが可能です。一方、DynaLoader::dl_install_xsub 関数については、これを単純に使えなくしてしまうと、XS モジュールをロードできなくなってしまうので、一定の条件下でのみ、これが実行されるような仕組みを作ってやる必要があります。 というわけで私案。クロージャーを使って、以下のような形にするのはどうでしょう？ 「strict::import とか書き換えられちゃうとダメじゃね？」ということで没ネタですorz #! /usr/bin/perl use strict; use warnings; use DynaLo
InnoDB Plugin のデータベース圧縮機能 - kazuhoのメモ置き場
ファイルサイズが 1/10 になってアクセス速度も大幅改善か。実データでこれはすごいな *1。 I’ve tried to convert this table using COMPRESSED row format. This time conversion took 1,5 hours and results were really surprising: Only 5Gb data file (from 60Gb) ~5% I/O load according to iostat (from 99%) ~5% CPU load according to top (from 80-100% mostly waiting for I/O) 0.01 sec average lookup time by primary key (from 1-20 sec before the conve
Q4M のベンチマークと設計 - kazuhoのメモ置き場
Re: http://mt.endeworks.jp/d-6/2008/01/q4m-1.html dmaki さんありがとうございます。 やっぱり Mac OS X の F_FULLFSYNC は遅いなぁ 同期方法をバイナリ配布版の InnoDB の手法に合わせるかな ソース版はデフォルトだと fsync でも dmaki さんの速度はさすがに遅すぎな気もする (自分のとこだと倍くらい) ディスクがいっぱいいっぱいなのかなw 宣伝になるような実際の利用形態にあったベンチマークを同梱しておいたほうがいいかも キューは普通、サブスクライバを複数並べて使うものだし 処理がすぐ終わるんだったら直接 InnoDB テーブルに書けばいい というわけで t/05-multireader.t 追加 race condition のバグが見つかったので、それようのテストコードも兼ねてるw で、↓が宣伝用ベ
Perl における Prepared Statement のベンチマーク - id:kazuhookuのメモ置き場
MySQL と SQLite について測定してみた。「np」がプリペアードステートメントを使わない場合、「p」が使った場合。「;srv」というのはサーバサイドプリペアードステートメントを有効にした場合。 $ ./dbi-prepared-bench.pl Rate sqlite:np mysql:np mysql:p;srv sqlite:p mysql:p sqlite:np 7519/s -- -28% -50% -51% -57% mysql:np 10417/s 39% -- -31% -32% -41% mysql:p;srv 15152/s 102% 45% -- -2% -14% sqlite:p 15385/s 105% 48% 2% -- -12% mysql:p 17544/s 133% 68% 16% 14% --全般的にプリペアードステートメントを使って DBI::
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
