Twitterの大規模システム運用技術、あるいはクジラの腹の中（前編）～ログの科学的な分析と、Twitterの「ダークモード」 先週の6月22日から、米サンタクララで行われていたWebサイトのパフォーマンスと運用に関するオライリーのイベント「Velocity 2010」が開催されていました。 その中で、TwitterのJohn Adams氏がTwitterのシステム運用について説明するセッション「In the Belly of the Whale: Operations at Twitter」（クジラの腹の中：Twitterでの運用）が行われています。Twitterのような大規模かつリアルタイムなWebサイトの運用とはどういうものなのでしょうか？ 公開されているセッションの内容を基に概要を記事で紹介しましょう。システム管理者の新たな役割、Railsの性能の評価、Bittorrentを使った

目的 フロントがHTTPリクエストを受けて、バックエンドのアプリケーションサーバにreverse proxyするような構成において、指定秒数以内に何かしらのレスポンスを返したい。 200が返せない場合は、処理を打ち切って500を返したい。 背景 フロントでApacheやNginxをreverse proxyとして使っている場合、バックエンドが無応答になってしまうと、クライアントにレスポンスが返るのはデフォルトで数十〜数百秒後(ApacheのTimeoutのデフォルトは300秒、Nginxのproxy_read_timeoutのデフォルトは60秒)になってしまいます。 通常のWebサービスではこのオーダーのタイムアウトでもいいのかもしれませんが、数秒以内に(エラーでもいいので)レスポンスを返すことが求められる環境も存在します。(最近、特に多いのではないでしょうか:P) もちろんバックエンドが

続・ハイパフォーマンスWebサイトを読んでCSSセレクタの高速化の話しが面白かった（というか全然知らなくてちょっとびびった）ので紹介します。 セレクタは右から左に解釈される これは正直知らなくて、結構衝撃でした。 #foo .bar {} これはなんとなく#fooを探して、その中の.barを探している気がしてたんですけど、実は.barを探して、その親要素に#fooがあるかを探すそうです。なので特に#fooが必要なければ .bar {} と書いたほうが高速だということ。 また、以下の様に要素名で指定すると、その要素を全て探します。 #foo a {} これは一度a要素を全て探すので、できればaにclassをふって #foo .anchor {} とするほうが高速のようです。（#fooをとるとより高速） 特にユニバーサルセレクタなどは、 #foo * {} とすると、全ての要素の親要素に対して

従来より、プロファイリングのためのソフトウェアと言えば高価なものが中心であった。もっと安く、お金を掛けずに、簡単に、早くプログラムのボトルネックを探し出す方法はないのか？！ということで編み出されたプロファイリングテクノロジーがある。その名も、「poor man's profiler」だ。 poor man's profilerの全容は、次のページで知ることが出来る。 Poor Man's Profiler http://poormansprofiler.org/ poor man's profilerは、現Facebook（元MySQL ABのサポートエンジニア）のDomas Mituzasによって開発されたプロファイリングテクノロジーである。以下が、その全ソースコードである。 #!/bin/bash nsamples=1 sleeptime=0 pid=$(pidof mysqld) f

1つ前の記事「JavaScriptをいかに高速化するか、IE9、Firefoxの取り組み」では、IE9とFirefoxにおけるJavaScriptの高速化について紹介しましたが、そもそもJavaScriptの実行速度はなぜ遅いのでしょう？ その理由について、Mozilla Japanテクニカルマーケティング担当の浅井智也氏が、スライド「Trace Monkey」でポイントをまとめています（このスライドはタイトルから分かるとおり、Firefoxの当時の新しいJavaScriptエンジン「Trace Monkey」を紹介するために1年以上前に作成されたスライドですが、1つ前の記事を見ると、ここで示された課題はいまも変わっていないようです）。 全67枚のスライドの20枚目から24枚目の5枚を以下に紹介します。 JavaScriptが遅い原因は、以下の4点にまとめられています。 インタープリタ型言

今週に入って、Tiny Message に続く二つ目の Google App Engine ベースのサービスをリリースした。３日ぐらいで試験的に作った Tiny Message とは異なり、今回のものは、丸二ヶ月間寝る間も惜しんで作った力作である。 米国向けのサービスな上に招待制のSNSなので、ここではサービスそのものは公開しないが、いくつかこだわって作った部分があるので、それについて語ってみようかと思う。 1. 対象となるユーザーの絞り込み FacebookやTwitterのような巨人が存在している中で、それにまっこうから対抗するようなソシアル・ネットワーク・サービスを作ったところで無謀なだけである。そこで、逆に対象にするユーザー層を究極にまで絞り込んで、彼らのライススタイルに徹底的にマッチしたサービスを作ることにより差別化をはかる、という戦略を選択。対象は「LAに住む２０〜３０代の社交

http://d.hatena.ne.jp/shokai/20100220/1266646461 をgearmanで並列化した upload-worker.rb #!/usr/bin/env ruby require 'rubygems' require 'gearman' require 'aws/s3' BUCKET = "your-bucket-name" GEAR_TASK = 'upload-awss3' if ARGV.size > 0 (ARGV.first.to_i-1).times do pid = fork break if !pid puts "fork pid:#{pid}" end end AWS::S3::Base.establish_connection!(:access_key_id => "your-key", :secret_access_key =>

メインストリームサーバは、マルチコアプロセッサと膨大な記憶容量を搭載してますます屈強になっているが、カーネギーメロン大学とIntel Labs Pittsburghの研究者たちは、コンピュータ界きってのやせっぽちの弱虫の方が、今日のインターネット上でのジョブの多くに適している可能性があると考えている。 研究者たちが提唱する代替物には、「弱小ノードの高速アレイ（Fast Array of Wimpy Nodes：FAWN）」という名前が付けられている。これは、ACM Symposium on Operating Systems Principlesで発表されたばかりの論文に記述されている。 簡単に言えば、汎用サーバを使うよりも、ローエンドのプロセッサとフラッシュメモリで構成されたサーバのクラスタを使用した方が、作業によっては低いコストと少ない消費電力で処理できると、研究者たちは考えている。近

Firefox ではブックマークや履歴等をデータベースで管理していますが、長い期間使用しているうちにデータベースの肥大化のためウェブページの表示や、Firefoxそのものの動作が遅くなることがあります。 これらのデータの最適化を行うことにより、データの読出しや更新をスムーズに行えるようにして、Firefox の高速化を試みます。 ------------------------ 最適化は初期状態では REINDEX のみですが、 「VACUUM後にREINDEXを実行する」を選択すると VACCUM と REINDEX を行うようになります。 ※VACUUM 後に REINDEX をする設定にしてあってもデータベースの余分な隙間が20%未満の場合は REINDEX のみ行います。 手動実行時の記号の意味 一番上の大文字はそれぞれvacuum と reindex を表します。 V(acuum

超速起動は言いすぎだろコノヤロー と、心の中で思ったが、どれどれやってみようかなぁとｗ コメント見る限りだと、まだ人柱が居なくてちょっと怖かったので、人柱を待ってた。が、なんかこう、みんな牽制しあってるような感じでもう面倒なのでさくっと試してみた。 結果は・・・。 とりあえず高速化に大成功！ Windowsの起動時間をまず測定。 最初は４分５４秒だった。 追記 Windowsが立ち上がり、砂時計が消えるまで。 Googleデスクトップ→dropbox→IPメッセンジャー→AVGが起動するまでの時間。 そして今回の高速化を断行した結果・・・。 起動時間が２分３２秒になった！！！ 多分余計なものが沢山入ってたのが原因なんだけど、なかなかのWindows高速化！ XP自体は既に１年目の選手。 色々と途中改造してるからアレだけど余計なものがとにかく多かったなぁ。 というわけでレッツレポート。 今回

Another book update for “Customizing the Common Language Runtime” A reader recently pointed out another error in my hosting book.  The error... Author: stevenpr Date: 03/01/2011 The .Net Compact Framework Configuration Tool The .Net Compact Framework 3.5 Power Toys include a new utility called the NetCF Configuration Tool.... Author: stevenpr Date: 05/13/2008 The CLR Profiler for the .Net Compact