開発メモ: memcachedプロトコルをKTにプラグインする
高効率キャッシュサーバ兼データベースサーバであるKyoto Tycoonのネットワーク通信機構をプラグインで切り替えられるようにして、memcachedプロトコルにも対応したというお話。 プラガブルサーバ Apacheは、様々なモジュールを後付けのプラグインで組み込むことで、非常に柔軟に機能追加を行えるようになっている。MySQLもストレージエンジンをプラグインで切り替えられるようになっていて、非常に柔軟なソリューションが提供できるようになっている。そのようなプラグインできるモジュールをプラガブルモジュールと呼ぶことにしよう。 同じように、KTでもストレージエンジン（DBM層）をプラガブルモジュールにする予定ではあるが、今回はストレージエンジンの話ではない。逆に、ネットワーク層をプラガブルモジュールにしてしまうのだ。そうすると、任意のプロトコルでデータベースを操作できるようになる。 DBM
TwitterとDiggがNoSQLの「Cassandra」を選ぶ理由
スケーラブルなデータベースを実現する手段として「Sharding MySQL plus memcached」がよく知られる方法だとは、1つ前の記事「MySQL+Memcachedの時代は過ぎ、これからはNoSQLなのか、についての議論」で紹介しました。 ちなみに「Sharding」（シャーディング）とは複数のデータベースにデータを分散して運用することで、ざっくりいえばShared Nothing的な分散データベース構成のことです（この記事で紹介する英文中には「Shared MySQL」（共有MySQL）との記述がありますが、これは恐らく「Sharded MySQL」（ShardされたMySQL）のミススペルではないと推測します）。 日本で（たぶん）もっともMySQLについて詳しく解説してあるブログ「漢(オトコ)のコンピュータ道」のエントリ「さらにMySQLを高速化する7つの方法」では、Sh
画像配信の負荷分散も比較的簡単？（その1） - 最速配信研究会(@yamaz)
30万個ぐらいの静的ファイルを配信するサーバーの選び方 で静的な配信サーバに関することが述べられている. naoyaさんが公開されてるInside Hatena Bookmark's Backend の資料などを読むと、mod_perlなサーバーやMySQLサーバーの選び方の参考になったりするわけですが、世の中を見渡してみても、静的コンテンツ（画像とか）を配信するサーバーの指南書らしきものはなかなか見あたりませんでした。 なので、経験を元に書いてみることにします。 ということらしい.書いてあることはすべて同意だけど, つい3ヶ月くらい前まで 平均15k×1万URL×50億httpアクセス/day 平均4KByte×100万URL×3億HTTPアクセス/day な画像サーバと某所で向き合ってたため,ちょっとは役に立てるかもしれないと思ったので,私の経験を書いてみようと思う. 動画配信の負荷分
クラウドの一貫性って - noopな日々
CAP定理というのは、 Consistency Availability Partitions という状態の2つまでしか達成できない。３つすべてを達成することはできないという定理である。例えばConsistency（一貫性）とAvailability(可用性)を同時に満足させるとPartitions(分散)を達成するのをあきらめるしかない。可用性と分散性を同時に満足させるにはConsistency（一貫性）をあきらめる。すなわちEventually Consistentな状態を受け入れる。 そーゆー状態を受け入れるとスケーラビリティを達成できるようになるので、巨大なデータセンターの中に安いPCサーバーを大量においてCAPのCを若干犠牲にしつつ、高速なデータ処理を行う。そのような計算モデルである。 クラウド時代の計算パラダイムがRDBMSが30年間研究開発していたACIDパラダイムからCAP
KOF2009「ウェブサービスのパフォーマンスとスケーラビリティ」 - stanaka's blog
KOF2009にて、「ウェブサービスのパフォーマンスとスケーラビリティ」と題して発表してきました。発表資料を以下に置いておきます。 Performance and Scalability of Web ServiceView more presentations from Shinji Tanaka. 概要は、「ウェブサービスのパフォーマンスを向上させスケーラビリティを高めるために、はてなでは様々な取組みを行っています。本セッションでは、はてなで採用している具体的な技術、ノウハウ、可視化手法と、それらの効果について紹介します。」というものです。 最近の、Interopやカーネル読書会あたりで話した内容をまとめつつ、レスポンスタイムの可視化という最近の取り組みについて話しました。 最近、レスポンスタイムについては、以下のようなグラフを使っています。 x軸がレスポンス時間、y軸がその時間内に収
longlife gcパッチを作成しました - I am Cruby!
GCGW中にせこせこと作っていたGCパッチをruby-devに投稿しました．内容は以下．Railsのヒープ調査2ヶ月ほど前に，ふと気になってRailsがどんな風にヒープを使用しているか調査してみました．以下のグラフはscaffoldしたRailsアプリを動かした際のものです． 調査前は，「文字列が一番多いんじゃないか」と考えていたのですが，実際には構文木オブジェクトがヒープの半分を占めているようです．その構文木オブジェクトを更に詳しく調べたグラフが以下です． このグラフにあるNODE_METHODやNODE_CFUNC，NODE_FBODYはメソッド定義の際に使用され，NODE_WHILEやNODE_BLOCKはVMの内部で使用されているようです． 長寿命GC更に調査をすると，これらのオブジェクトはとても長生きな事が分かりました．そこで，これらを長寿命領域に隔離してしまおう，という改善を
マルチコア時代の高並列性IOアーキテクチャ Wavy - Blog by Sadayuki Furuhashi
シングルスレッドではもう遅い。 以前にマルチコア時代の高速サーバーの実装で、「ネットワークIOはマルチスレッドで動かすが、その他の部分はシングルスレッドで動かす」というIOアーキテクチャの実装（mp::iothreads）を紹介しました。iothreadsはロジック部分をシングルスレッドで書けるため実装の手間を抑えることができ、ネットワークIOがボトルネックになるプログラムには特に適していると思われます。 しかし実際にiothreadsを使ってプログラムを書いてみると、非常に負荷が高い状況でシングルスレッドの部分の処理速度がボトルネックになってしまうことがありました。 そこでマルチコアCPUの性能を引き出すために、徹頭徹尾マルチスレッドで動かすIOアーキテクチャを実装してみました。 1つのスレッドが、ある時はepoll_wait()し、ある時はread(2)を行い、ある時はイベントを処理す
満足せる豚。眠たげなポチ。:大規模サービスの運用事例まとめ
ここ数年の大規模サービスのシステム運用について調べてみたので参照したページやファイル、本へのリンクをまとめておく。PDF へのリンクも多数含まれているのでご注意を。 時代が時代なら企業のノウハウとして隠されていたような情報がこれだけ公開してもらえているというのが非常にありがたい。公開してくれている各企業や公開してくれている人に感謝。 あとで気付いたが、Google や Facebook の事例も探しておけばよかった。Thrift とかあったのに。「こんな情報もあったよ」などあればぜひ教えてください。追記していきます。 youtube http://d.hatena.ne.jp/stanaka/20070427/1177651323 digg http://d.hatena.ne.jp/stanaka/20070427/1177651323 livedoor http://labs.cybo
リンク、オープンソースソフトを使った低価格な負荷テストサービス | OSDN Magazine
リンク（本社：東京都港区）は2008年12月16日、エーティーワークス（本社：富山市）と共同運営するホスティングサービス「AT-LINK 専用サーバ・サービス（at+link）」の利用者向けオプションとして、オープンソースソフトウェアを活用した「負荷テストサービス」を提供開始した。価格は基本プラン1回19万9500円から。 Apache Software Foundationが開発するJavaベースの負荷テストツール「JMeter」を採用。事前にユーザーから行ったヒアリングをもとに、実際の行動に即した試験を実施し、結果をレポート形式で報告する。SSLを利用したフォームやクッキー・セッション管理の負荷計測、携帯サイトの負荷計測にも対応する。テスト項目のカスタマイズも可能。 同社によると、負荷テストの費用は数百万円に及ぶこともあるため、多くの企業では必要性を認めながらも担当者の経験則に基づいて
L'eclat des jours(2008-11-20)
_ ACIDからBASE ちょっと勉強。 BASE：ACIDの代わりをどうぞ 要約(のつもりだったがのりで)抄訳：（誤読は十分あり得る） これまでは垂直拡散（うまい訳はなんだろう？ vertical scaling）ってのがひとつの方法だった。よりパワフルなマシンへ移行するという道筋だ。何より簡単だってのがいいところ。でも、問題がある。どこまででもでかくできるわけでもないし、何より金食い虫だ。 それに対して水平拡散（horizontal scaling）ってのもある。いや、でもこれは複雑になる。この場合は、2次元で考えるといいね。横方向は機能分割。縦方向は断片化だ。Oracleのパーティショニングあたりとかかな。 機能分割はいいんだけど、そうなると1つのトランザクションが複数のデータベースサーバーをまたがる必要が出てくる。 エリック?ブルーワっていうバークレーの先生で、インクトミの首席サイ
DSAS開発者の部屋:こんなに簡単！ Linuxでロードバランサ (1)
DSASのロードバランサは高価なアプライアンス製品ではなく、LinuxのLVS (Linux Virtual Server)を利用しています。 安価、というか、ハードウエア以外は金銭的コストがゼロなので、一般のクライアントからのアクセスを受ける外部ロードバランサのほかに、内部サービス用のロードバランサも配置しています。それぞれactive, backupで2台ずつあるので合計で4台もロードバランサがあることになります。(こんな構成を製品を使って組んだら数千万円すっとびますね) また、ネットワークブートでディスクレスな構成にしているので、ハードディスが壊れてロードバランサがダウンした、なんてこともありません。 ですので「ロードバランサは高くてなかなか導入できない」という話を耳にする度にLVSをお勧めしているのですが、どうも、 なんか難しそう ちゃんと動くか不安 性能が出ないんじゃないか 等々
Amazon EC2 and LVS
404 - File not found Sorry, nothing here but cobwebs.
Sign in - Google Accounts
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
Google data centers - Wikipedia
Former Google data center in Eemshaven, Netherlands External videos Google data centers are the large data center facilities Google uses to provide their services, which combine large drives, computer nodes organized in aisles of racks, internal and external networking, environmental controls (mainly cooling and humidification control), and operations software (especially as concerns load balancin
サーバにDoS耐性を付ける - stanaka's blog
ウェブサービスでは、アクセスが集中して、サイトが落ちる、というのは、よくある話です。純粋に人気が出てアクセス集中するなら、サーバ管理側の責任と言われても、しかたないと思います。しかし、botやF5アタックによる突発的な集中アクセスで、落ちてしまう、というのは、運営側としても、あまり納得がいくものではありません。 そのような突発的なアクセスに対応するために、大量のアクセスをしてくるクライアントを検出し、優先度を落すか、アクセス禁止にする方法などがあります。 というわけで、Apacheモジュールでそれを検出するためのmod_dosdetectorを開発しました。(ちなみにコア部分の開発期間は、Apacheモジュールって、どう書くんだっけ、という状態から、3日でした。) mod_dosdetectorは、Apacheモジュールとして動作し、クライアントのIPアドレスごとにアクセス頻度を測定し、設
repcached-2.0リリースのお知らせと、超簡単なサンプルコード : DSAS開発者の部屋
repcached-2.0(memcached-1.2.5ベース) をリリースしましたのでお知らせします。 http://lab.klab.org/modules/mediawiki/index.php/Repcached (日本語) http://repcached.lab.klab.org/ (英語) 今回の目玉はマルチマスタ構成のサポートです。 以前のバージョンはマスタ/スレーブ構成だったので、必ずマスタへ書き込まなければいけませんでした。そのため、接続先のサーバがマスタなのかどうかをクライアントが判別しなければいけなかったり、keepalivedなどと併用するなどの工夫が必要でしたが、今回のバージョンではその必要がなくなります。両方のサーバに対してデータを書き込むことができるようになったので、かなり使いやすくなったと感じています。 repcachedはパフォーマンスを最重視している
DRBDベンチマーク - NO LIMIT Is. はてな支部'
DRBDのパフォーマンスを評価する機会があったのでメモしておきます。 DRBDはTCP/IPネットワーク越しにディスクのミラーリングを行うソフトウェアで、Linuxのカーネルモジュールとして実装されています。ネットワーク経由のRAID1と考えるとわかりやすいと思います。Heartbeatなどと組み合わせると擬似的な共有ディスクを持ったクラスタを構築することができます。 5年くらい前に話に聞いたときは（主にネットワークが）遅すぎて使えない印象でしたが、今日ではGigabit Ethernetが当たり前に使えるのでどのくらいのパフォーマンスが出るのか興味深いところです。 環境 以下のような環境を用いました。 サーバハードウェア 機種 IBM x3650 2台 CPU Intel Xeon 1.6GHz Memory 5GB HDD SAS HDD 146GB RAID1 ネットワーク構成 10
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PVFS.org
http://www.onflow.jp/blog/archives/2006/02/mod_proxy_balancer_1_mod_proxy.html
MySQL 5.1 リファレンスマニュアル :: 14 MySQL Cluster