C++ を書いていて boost に依存したくない理由 - kazuhoのメモ置き場
「boost 等、他の重たいライブラリに依存しない」boost 重いと思ったことないけど，そういう領域はあるんやろうなぁ はてなブックマーク - HISAMATSUのブックマーク / 2009年7月3日 おもしろい点だと思うので、こちらでフォロー。 自分で使うプログラムを書いたり、あるいはバイナリを配布する分には、boost を使ってもまったく問題ないんですが*1、非C++プログラマむけにソースコードを配布してコンパイルしてもらう前提だと、boost への依存は避けたいな、と思っています。今回は、そもそもそういうプログラムを書いていて、その中で使える簡単な JSON ライブラリを求めていたのでした。 たとえば、Q4M は boost に依存してるからインストールが面倒 (あるいはインストールしたくない) と複数の方から言われて、結局 boost の必要なヘッダファイルを同梱しています。 で
Kazuho@Cybozu Labs: テストケースの実行にあわせて Apache を起動・終了する方法
ウェブアプリケーションやライブラリの結合テストを行う段階になると、実際に Apache を起動してテストを実行したくなります。しかし、そのためにいちいち Apache の設定ファイルを修正して httpd を再起動して、とやっていては面倒です。特に複数のプログラムを同時に開発していると、あっちをテストしたらこっちが動かなくなって… なんてなったりして嫌気がさしてきます。 そこで、テストを実行する際に、環境毎に異なる以下のような問題を吸収しつつ、テスト専用に設定された Apache を自動的に起動終了してくれる Perl モジュール：Test::Httpd::Apache2 を書きました。 環境によって、インストールパスが違う (/usr/local/apache/bin だったり /usr/sbin だったり) 環境によって LoadModule の要不要や、ロードするパスが違う 環境によ
ウノウラボ Unoh Labs: 「ちわさん、奥さんが来ましたよ」
「え！？妻が会社に！？」と一瞬戸惑いましたが奥一穂さんでした。 別に妻が会社に来てもやましいことなど何もありませんが、こんちには、ちわです。こんにちわ。 以前の記事でもご紹介した通り弊社が提供しているまちつく！というサービスでは Q4M 0.9.0 を利用して地図の画像生成と Amazon S3 への転送を行っています。 その Q4M に障害が発生し弊社ではどうも解決できそうにないので Q4M の作者の奥一穂さんに相談させてもらいました。 その際は、デッドロックのバグを踏んでいる可能性があるので Q4M を 0.9.1 以上のものしてみてはどうかと返答を頂きました。 弊社では 64bit 環境であった為、0.9.2 は除外され、0.9.3 は新しすぎるので 0.9.1 を採用することにし、バージョンアップ後に障害もなく安定稼働を続けています。 そんな経緯もありまして、先日弊社に奥一
Kazuho@Cybozu Labs: REST におけるトランザクションについて (Re: Web を支える技術)
といいつつ、ひとつだけ理解できないというか、納得できないところが。トランザクションのところがなんだかRESTっぽくないのがすごく気になる Webを支える技術 -HTTP、URI、HTML、そしてREST (WEB+DB PRESSプラスシリーズ)(山本 陽平) - ただのにっき(2010-04-23) 「Web を支える技術」は自分もとてもいい本だと思う (教科書としてすばらしいし復習用としても読みやすいのでイイ) のですが、トランザクションの所だけは分かりづらいなと感じました。その原因は、atomic transaction で解決できる課題を例として使っているという点と、トランザクションと更新クエリのレイヤ分割がされていない、という２つの点によるものではないでしょうか。 HTTP 上でトランザクションを表現する必要があるケースのほとんどは、atomic transaction ではなく
Kazuho@Cybozu Labs: 監視とは継続的なテストである、という話 (もしくは cronlog とテストスクリプトを組み合わせた監視手法について)
結論から先に。cronlog を使えば、アプリケーションのテストコードと全く同じ形式で、監視用のスクリプトを書くことができます。プログラマが監視ツールの記法を覚える必要はありません。これは、プログラマが運用も行うケースでは特に有効な手法だと思います。 先週公開した Kazuho@Cybozu Labs: crontab を使って効率的にサービス監視する方法 というエントリで、crontab と拙作の cronlog を用いてサービス監視を書く手法を紹介しました。しかし、挙げた例はいずれも ping や http のテストといった外形監視の手法です。RDBMS とウェブアプリケーションのみから構成されるサービスならそれだけで十分でしょう。 しかし、外形監視だけでは、メッセージキューのような非同期処理の遅延を観測することはできません。また、http のログを監視して、エラーレスポンスや平均応答
Kazuho@Cybozu Labs: blockdiff を使ったお手軽ホットバックアップ環境の構築 (Linux, MySQL, etc.)
一昨日に開催された hbstudy #7 にバックアップの話を聞きに行ってきました。Amanda を中心にした話で、とても勉強になりました。が、設定がめんどくさそうだなぁ、とも。自分の需要にはあわない感じでした。 勉強会が終わったあとで、自作のバックアップスクリプト blockdiff に関する話を何人かの方とさせていただいたのですが、思いのほか反応が良かったので、あらためて紹介したいと思います。 blockdiff は、一言でいうと、パーティションやデータベースのデータファイルの差分バックアップツールです。rsnapshot に似ていますが、rsnapshot ではデータベースのホットバックアップ不可能です。逆に blockdiff はディレクトリ単位でのバックアップには対応していないかわり、ファイルシステムやデータベースを、一貫性を保ちつつ実質無停止で差分バックアップすることができます
nopan っていうレポジトリから直接ソフトウェアをインストールするインストーラを作り始めた件 - kazuhoのメモ置き場
perl の場合、CPAN モジュールは sudo cpan -i Module の１コマンドでインストールできる。でも、svn や git レポジトリのコードは、チェックアウトして perl Makefile.PL && make all test && sudo make install とか、めんどくさい。 なので、svn や git レポジトリからソースコードをダウンロードしてインストールするツールを作り始めた。名前は、CPAN モジュール以外も簡単にインストールできるところから、Not-only CPAN、略して nopan。 こんな感じで動きます。まだ適当だけど。 $ sudo nopan http://github.com/kazuho/kaztools.git downloading files from URL:http://github.com/kazuho/kazto
(特にMyISAMを使っていた)ウェブ屋さんがInnoDBを使う場合の設定項目 - kazuhoのメモ置き場
InnoDBはMyISAMと比較して安全(OSクラッシュや電源断が発生してもテーブルが壊れない)分、書き込みが遅い。データベース屋さんからすると、それは当然のことでMyISAMがおかしいんだ、ということになり、だからバッテリバックアップ機能のついたRAIDカードを使うんだ、という話になる。でも、MyISAMを使っているウェブ屋さんの現場では、場合によって多少データが消えてもかまわないから、安いハードウェアで大量のアクセスを捌きたい... って乖離があるんじゃないかなーと思ってる。 そのような場合には、my.cnf の innodb_flush_log_at_trx_commit パラメータを調整することで、MyISAMに比肩する書き込み速度を得ることができる(そのかわり、クラッシュや電源断の場合は、設定によって直近１秒以内の変更が失われる)。 他のパラメータも含めて書いておくと、データベー
Kazuho@Cybozu Labs: Writing Hot-deployable servers (introduction of Server::Starter)
Yesterday at YAPC::Asia 2009, I did a LT introducing verious techniques to write hot-deployable servers, and introduced a perl module called Server::Starter that encapsulates the burden of developing support for hot-deployment within each TCP server program. The presentation slides are on Slideshare.
Kazuho@Cybozu Labs: A Clever way to scale-out a web application (YAPC::Asia 2009 Presentation)
For couple of months I have been writing middlewares for database shards, and today I made a presentation covering them. It includes the following. Incline - a trigger and queue based distributed materialized view manager Pacific - a set of perl scripts to manage MySQL shards, a MySQL shard can be split into two in less than 10 seconds of write blocking (and no read blocks) DBIx::ShardManager - a
コンピュータは創造力を刺激する 奥一穂さんのエンジニアライフ（1/2） - 特集：No okyuu, No Life [okyuu.com]
コンピュータは創造力を刺激する 奥一穂さんのエンジニアライフ（1/2） 「コンピュータは自分の考えをダイレクトに試せる」――天才エンジニアとして国際的な評価も高いサイボウズ・ラボの奥一穂さんは笑顔で語る。世間からのスマートだとの評価には「自分は広く浅くだから」とさらり。 この企画はokyuu.com編集部が現在のエンジニア像をリレー形式で追っていくものです。 （取材・文＝編集部） 奥一穂（おくかずほ） 1977年2月21日生 32歳 サイボウズ・ラボ 【略歴】 1997年 Palm OS 用Webブラウザ「Palmscape」開発 1999年 東京大学中退、株式会社イリンクス入社 2002年 M.I.T. Technology Review誌のTR100に選出 2003年 株式会社モビラス 代表取締役就任 2004年 IPA「未踏ソフトウェア創造事業」採択 2005年 IP
MySQL に memcached プロトコルサポートを追加してみる - kazuhoのメモ置き場
ソース: http://coderepos.org/share/browser/platform/mysql/mycached/ 例によって UDF (笑) として書いてみてるところ *1。 大体２倍速。対応してるのは gets? コマンドのみ、かつ、INT 系のプライマリキーのルックアップのみ。 こんな感じで動いてる。 $ echo 'select mycached_start(0,12345)' | mysql -u root && telnet localhost 12345 mycached_start(0,12345) 0 Trying 127.0.0.1... Connected to localhost.localdomain (127.0.0.1). Escape character is '^]'. gets test.t1.1 VALUE test.t1.1 0 72
シングルマスタ／マルチスレーブ構成に興味がない理由 - kazuhoのメモ置き場
システム全体で必要な書き込みパフォーマンスが、RDBMSノード１基の IOPS の W% の場合、シングルマスタ+スレーブn台構成のシステム全体のパフォーマンスは、 書き込みパフォーマンス: W 読み込みパフォーマンス: R=(1-w)*(n+1) になる。この n=R/(1-w)-1 って w が増加するとスレーブ増設のメリットが加速度的に失われていく点がイヤ。 例えば、システム全体で要求される書き込みパフォーマンスが W=0.3 で、読み込みパフォーマンスが 3 ならば、シングルマスタ／マルチスレーブ構成で必要なノード数は5台。マルチマスタ構成を採った場合でも理想値は4台なので、そう遜色があるわけではない。 しかし、仮に必要なパフォーマンスが２倍 (W=0.6, R=6) になると、必要ノード数はマルチマスタ構成での8台に対し、シングルマスタ／マルチスレーブ構成では16台と、一気にコス
Kazuho@Cybozu Labs: Perl のテスト用に MySQL 環境を自動で構築するモジュール Test::mysqld を書いた
ORM やウェブアプリケーション関連のライブラリなどのテストケースを書くにあたっては、 RDBMS へのアクセスが必要になります。しかし、SQLite のようなスタンドアローンのデータベースと比較すると、サーバ型データベースである MySQL に接続してテストを書くのは、既存の MySQL の権限設定やデータベース名を気にする必要があったりと、いろいろ不便です。そこで、MySQL のインスタンスをテンポラリディレクトリに自動生成し、テストが終わったら削除してくれる Perl モジュール Test::mysqld を書きました。こんな感じで使います。 use DBI; use Test::mysqld; use Test::More; my $mysqld = Test::mysqld->new( my_cnf => { 'skip-networking' => '' }, # TCP接続を
海外のクラウド環境と国内のVPSを比較検討してみた - kazuhoのメモ置き場
Amazon EC2 や Rackspace Cloud Servers を色々調べていて分かったこと。 国内の比較対象は、仕事や個人で使っている WebARENA SuitePRO と CPI VPS スケーラブルプラン。 まず、価格について。国内の VPS は、転送量に関わらず価格が一定なのに対して、EC2 や Cloud Servers は、サーバ代金の他に、従量制のネットワーク使用量がかかる。なので、運用するサービスによっては、海外勢の方が割高になる *1。一方、通信量が少ない場合は、割安。 では、海外のクラウド環境でしか得られないサービスとは何なのか。 L3 ロードバランシング サーバレンタルが月単位か１時間単位か*2 借りた仮想サーバ間の通信を前提としているか の３点っぽい。逆に言うと、これらの機能を必要としないなら、国内 VPS でいい。 ３点目は、国内の VPS サービスで
JavaScript で任意の漢字にマッチする正規表現を書く - kazuhoのメモ置き場
重箱の隅で恐縮ですが。弾さんは (function(e){ e.innerHTML = e.innerHTML.replace( /東京都?([\u3200-\u4DBF\u4E00-\u9FFF\uF900-\uFAFF]+)/g, '首都$1東京' ) })(document.body)漢字を判定する正規表現が工夫のしどころでしょうか。[一-龠]はUnicode時代にはちょっと古い。grep CJK /usr/local/lib/perl5/5.10.0/unicore/Blocks.txtが参考資料代わりです。CJK Unified Ideographだけ欲しければ[\u4E00-\u9FFF]でも行けます。 404 Blog Not Found:javascript+regexp - ていうか首都最強東京bookmarklet とおっしゃってるけど、[\u4E00-\u9FFF]
Kazuho@Cybozu Labs: DNS ラウンドロビンと高可用性 (High Availability)
« brainf*ck でマジメに素数探索 | メイン | Brainf*ck で動的リスト » 2006年06月29日 DNS ラウンドロビンと高可用性 (High Availability) ウノウラボ Unoh Labs - ベンチャー流サーバ構築のススメ(ネットワーク編) について。 おもしろく読ませていただきました。また、監視系を導入せずに自律的に動作させようという発想も大好きです。 でも、 DNSは各回線の内側に設置しておきます。例えば上図のような場合、回線A側のDNSは回線AのIPアドレスを返すようにして、回線B側のDNSは回線BのIPアドレスを返すようにします。こうするとどちらかの回線が切れたときは切れたほうの回線のDNSにアクセスできなくなるので、自動的に生きている方の回線に接続されるようになります。 (ウノウラボ Unoh Labs - ベンチャー流サーバ構築のススメ(
Kazuho@Cybozu Labs: 今更 C++ で JSON パーサ「picojson」を書いたわけ
既に mattn さんが、「Big Sky :: ヘッダファイルだけでC++から使えるJSONパーサ「picojson」が凄い！」で紹介してくださっています (mattn さん、アドバイス＆バグ情報ありがとうございます!) が、いまさら C++ で JSON パーサを作りました。それは、以下の３点を満たすものがなかったから。 ヘッダファイル only boost 等、他の重たいライブラリに依存しない array や object が STL にマッピングされる コードは、coderepos に置いてありますので、よろしければお使いください (picojson.h)。 なお、現時点での制限事項として、 \n や \r, \uXXXX といったエスケープの処理が未実装rev. 34232 で対応しました (含サロゲートペア) 空白文字の判断基準が RFC と異なるrev. 34277 で空白と
svn レポジトリの参照先を変える方法 - kazuhoのメモ置き場
2009年7月6日追記: 以下は svn switch あるいは svn switch --relocate が使えない場合の話です。 Subversion のレポジトリが移行したときに、手元に co してあるソースをそのまま、レポジトリの URL だけを書き換えたいことって結構ある。 ＃運用サーバへのデプロイが svn co だったりすると で、.svn/entries を書き換えるって手もあるらしいけど、なんかうまく行かなかったので、.svn ディレクトリを新しいレポジトリから取ってきたやつに差し替える方法で対処。以下手順。 % svn co http://new-repo /tmp/new-repo % (cd cur-repo && find . -name .svn -type d) > /tmp/cur-repo.dotsvn % (cd /tmp/new-repo && fi
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Using Q4M - a message queue storage engine for MySQL
