TwitterがBitTorrentで高速にデプロイしている仕組みについて
Twitterは、同社の何千台ものサーバに対してバイナリをデプロイする場合に、ピア・ツー・ピアシステムのBitTorrentを利用したツール「Murder」を用いていると、7月1日の記事「Twitterの大規模システム運用技術、あるいはクジラの腹の中（後編）～Twitterのサブシステム「Unicorn」「Kestrel」「Flock DB」」で紹介しました。 FacebookでもBitTorrentによる大規模なデプロイが高速に行われていることは、7月16日の記事「Facebook、memcachedに300TB以上のライブデータを置く大規模運用の内側」で紹介しました。 どうやら大規模システムにおけるデプロイではBitTorrentの利用が進んでいるようです。 7月15日付けのTwitter Engineering Blogに、Twitterのエンジニア、Larry Gadea氏による「
kumofsはなぜ落ちないか - Blog by Sadayuki Furuhashi
前回は、kumofsはなぜスケールするかということについて紹介しました。その中で最後に、耐障害性もスケーラビリティにとって重要だーと述べました。 そこで今回は、kumofsはなぜ落ちないのか、なぜ耐障害性が高いと言えるのかーということについて紹介したいと思います。 分散システムはテストが難しいことに定評がありますが（たぶん^^;）、その中でも耐障害性の検証は最上級に困難な部類です。 耐障害性は実際のところ、アルゴリズムの設計以前に実装上のバグが大きく影響するので、設計上は耐障害性が高いと言っていても、実際に使ってみると良く止まるという話はありがちな話です。（個人で開発している場合など、開発リソースが小さい場合はなおさら） そのため耐障害性の高いシステムを実現するためには、実装しやすくバグが入り込みにくい設計も重要かなーと思います（もちろん、アルゴリズムも重要ですが）。 分散システムには複雑
データセンターの進化を振り返る（日経BPの中田記者が）
マイクロソフトでデータセンターのアーキテクトとして活躍した後、2008年にアマゾンへ移籍して現在はAmazon Web Servicesのバイスプレジデント兼上級エンジニアであるJames Hamilton氏が、マイクロソフト在籍中の2007年に発表したコンテナデータセンターについての論文「Architecture for Modular Data Centers」の日本語訳がITmediaエンタープライズで公開されました。 Architecture for Modular Data Centers：データセンターのシステムパッケージングに対する発想の転換 - ITmedia エンタープライズ 日経コンピュータでクラウド担当として活躍されている中田敦記者がこの記事に関連して、過去約10年におよぶデータセンター進化の歴史をつぶやいていました。非常に有用なつぶやきだったので、ここで記事としてま
1Uラックマウント可能なサーバを自作する - marqs blog
はてなでは以前から自社製サーバを使用しているのですが、今年の春に、新たに自社製1Uハーフサーバを開発しました。 最近、タワー型だとメーカー製でもかなり安価なサーバがあるのですが、データセンターでの運用を考えると1ラックへの集積度が問題になってくるので、必然的にラックマウント可能なサーバが求められます。1Uサーバの中で価格対性能比のよいものを探すと、まだまだはてな的に使いやすいサーバが少ないので、今回このような1Uラックマウント可能なサーバを自社開発しました。 さてこのサーバの特徴としては、 ケーブル類がフロントアクセス 組み立て簡単 いけてるインフラアルバイトのid:hxmasakiが組み立てると15分 1ラックに60台以上搭載可能 もちろん、電源容量との兼ね合いもあります ディスクのホットスワップが可能 低消費電力 お値段据え置き 以前の自社製サーバとほぼ同価格 といったところがあげられ
ISP から帯域制限をかけられてたので ISP 変更しました
ここ数ヶ月、回線速度が妙に遅いと感じていました。僕の住まいは団地で各棟にＢフレッツマンションの VDSL 方式でネット接続ができるようになっているのですが、他の人が動画とか見ていて帯域を使ってるのかなぁ〜と思いこんでました。 仕方がないからＢフレッツファミリーへ乗り換えるべく新規加入申し込みをしました。ＮＴＴから通常マンションタイプがあるときはファミリーはひかないと思うので管理人に工事許可を取ってきて下さい。と言われて週末に話をしに行くかというところでした。でそんなときに読んだのが、 ゆーすけべー日記: 「連絡 - ISP から帯域制限をかけられつがりにくくなってます」自宅サーバ管理者の憂鬱 あぁっっっ！なるほどっ！ この可能性があったかっ！ まさに見落とし。早速調べてみました。 今使っているプロバイダは ASAHI ネットです。いろいろと調べてみるとでてくるでてくる。大量のリクエストがあ
各メーカーの最安サーバを比較検討してみた
新しくGIGAZINEの現在提供しているサービスを拡張する上において、仮想環境ではなくテスト用サーバの実機を購入して検討する必要がついに出てきたため、試しに現時点での代表的な各サーバメーカーの最安値サーバをそれぞれ調べてみました。 それぞれ最低の最小構成で比較しているだけなので、実際に必要なオプションをくっつけるとまた結果は違ってくると思われますが、いずれにしてもとにかく動けばそれでよし、負荷が上がったら順次買い足して負荷分散させるという使い方を目指すのであればかなり参考になるのではないかと思われます。 詳細は以下から。 以下はすべて現時点での税込価格であって送料は入っていません。サイトやPDFファイルのパンフレットなどを見ながら書き写したモノなので、実際は違うというケースがあるかも。参考にする際は自己責任で、購入前には事前に相手先ベンダー・メーカーにちゃんと問い合わせておきましょう……。
Googleのようにコンピュータを組み立てる
Jeff Atwood / 青木靖 訳 2007年3月12日 シリコンバレーに行くことがあれば、コンピュータ歴史博物館を覗いてみることを強くお勧めする。現存で唯一動作するPDP-1があって、それを使ってオリジナルのSpacewarゲームができるような場所が、他にあるだろうか? 私は行ってみたが、すごかった。ゾクゾクした。妻は退屈しきっていたが、それでもずっと付き合ってくれたことに感謝している。 この博物館は特設展よりも常設展示の方に本当に面白いものがある。それが建物の大部分を占めていて、かつて耳にしたことのあるあらゆるコンピュータが置かれている。見ることのできる所蔵品の中に、1999年のGoogleの 初期のサーバがある。 Googleの最初の量産サーバ 1999年 Google, Inc. アメリカ 限られた資金で、Googleの創業者ラリー・ペイジとサーゲイ・ブリンはこの安価な相互接続
TheC10kProblem - 「C10K問題」（クライアント1万台問題）とは、ハードウェアの性能上は問題がなくても、あまりにもクライアントの数が多くなるとサーバがパンクする問題のこと
TheC10kProblem - 「C10K問題」（クライアント1万台問題）とは、ハードウェアの性能上は問題がなくても、あまりにもクライアントの数が多くなるとサーバがパンクする問題のこと 目次 この文書について C10K 問題 関連サイト まず読むべき本 I/O フレームワーク I/O 戦略 1. 各スレッドが複数のクライアントを受け付ける. そしてノンブロッキング I/O と レベル・トリガ型の完了通知を利用する. 伝統的な select() 伝統的な poll() /dev/poll kqueue() 2. 各スレッドが複数のクライアントを受け付ける. そしてノンブロッキング I/O と 変更型の完了通知(readiness change notification)を利用する. kqueue() epoll リアルタイム・シグナル fd 単位のシグナル (Signal-per-fd)
サーバにDoS耐性を付ける - stanaka's blog
ウェブサービスでは、アクセスが集中して、サイトが落ちる、というのは、よくある話です。純粋に人気が出てアクセス集中するなら、サーバ管理側の責任と言われても、しかたないと思います。しかし、botやF5アタックによる突発的な集中アクセスで、落ちてしまう、というのは、運営側としても、あまり納得がいくものではありません。 そのような突発的なアクセスに対応するために、大量のアクセスをしてくるクライアントを検出し、優先度を落すか、アクセス禁止にする方法などがあります。 というわけで、Apacheモジュールでそれを検出するためのmod_dosdetectorを開発しました。(ちなみにコア部分の開発期間は、Apacheモジュールって、どう書くんだっけ、という状態から、3日でした。) mod_dosdetectorは、Apacheモジュールとして動作し、クライアントのIPアドレスごとにアクセス頻度を測定し、設
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
