データセンターが「落ちる」ことを想定したグーグルのアーキテクチャ
サーバを安全に運用する施設として構築されるデータセンターですが、グーグルではそのデータセンターですら"落ちる"ことがあると想定してアーキテクチャを構築しています。 米グーグルが今年の5月に行ったイベント「Google I/O」で、同社のGoogle App Engine datastore leadであるRyan Barett氏が行った講演「Transactions Across Datacenters (and Other Weekend Projects)」のビデオがYouTubeで公開されました。 Barett氏は、担当しているGoogle App Engineのデータベースに関してグーグルが「multihoming」（マルチホーミング）と呼ぶ複数のデータセンターを用いた処理を実現している理由として、データセンターが自然災害や停電に見舞われたり、メンテナンスなどによるデータセンターの
DSAS開発者の部屋:パソコン1台ではじめるロードバランサ体験
昨日書いたの通り，記事を寄稿したWEB+DB PRESS Vol.37が，今日発売になりました．それを記念して(?)，記事の内容が簡単に実験できるパッケージを公開します． これは，VMWareを使って，だれでも直ぐにロードバランサの実験を始められるパッケージになっています．何台もマシンを集めたり，Linux をインストールする必要は一切ありません．無償配布されているVMWare Playerがあれば，いつでもどこでも実験ができます． もちろん，このブログで去年の夏に公開した4つのエントリ こんなに簡単！ Linuxでロードバランサ (1) こんなに簡単！ Linuxでロードバランサ (2) こんなに簡単！ Linuxでロードバランサ (3) 高トラフィックに対応できるLinuxロードバランサを目指して〜LVSをNATからDSRへ の実験もできます． ダウンロードはこちらからどうぞ(75MB
qcon presentation
Some choice Tweets: philwills: Evan Weaver on scaling twitter at #qcon was full of interesting stuff and good questions from audience. markhneedham: fascinating reading these stats about #twitter from Evan Weaver’s talk #qcon jurgenonland: sitting at a presentation from Evan Weaver @ #qcon, wow he must be verry unhappy at his work szegedi: Listening to Evan Weaver talking about Twitter system arch
Twitter、進化するアーキテクチャ
原文(投稿日：2009/6/26)へのリンク Twitterサービスチームの主任エンジニアであり、主に最適化とスケーラビリティを担当しているEvan Weaver氏が、QCon London 2009においてTwitterのアーキテクチャ、とりわけ過去一年にわたって行ってきたウェブサイトの最適化について語った。 Twitterで使われているツールの多くはオープンソースである。そのスタックは、フロントサイドにRails、中間のビジネス層にC、Scala、Java、データストアとしてMySQLを利用してつくられている。すべてがRAM上に保持されており、データベースは単なるバックアップである。Railsのフロントエンドはレンダリング、複合キャッシュ、DBクエリ、同期的挿入を扱う。このフロントエンドは、MySQLクライアント、Memcachedクライアント、JSONクライアントなどの、多くはCで書
はてなサーバーを更に解剖 - 発言注意！
はてなの1U自作サーバーの情報が出てましたね。せっかくなので、写真からみてもう少しわかるところを掘り下げてみるとします。 1Uラックマウント可能なサーバを自作する - marqs blog 電源 電源は「Enhance FLEX 300」 最安値は、￥8,650くらい。300Wクラスの薄型電源では、最安クラスだと思うので、コスト重視ならいいチョイス。 冷却ファン(ケース取り付け用) ケース背面近くに２つある冷却ファンは「San Ace 40」っぽい。 取り付け位置とかも計算されてるんでしょうね。ラックの前面・背面の両方につけるので、非対称な位置につけることで、前後2台で空気循環させるような考え方かな？メモリやCPUを避けて、空気の流れを作りやすくしてるっぽい。 冷却ファン（CPU） 冷却ファン（CPU）は「Dynatron P199」 最安値￥3980ほど。丈が低いファンで他の選択肢が
1Uラックマウント可能なサーバを自作する - marqs blog
はてなでは以前から自社製サーバを使用しているのですが、今年の春に、新たに自社製1Uハーフサーバを開発しました。 最近、タワー型だとメーカー製でもかなり安価なサーバがあるのですが、データセンターでの運用を考えると1ラックへの集積度が問題になってくるので、必然的にラックマウント可能なサーバが求められます。1Uサーバの中で価格対性能比のよいものを探すと、まだまだはてな的に使いやすいサーバが少ないので、今回このような1Uラックマウント可能なサーバを自社開発しました。 さてこのサーバの特徴としては、 ケーブル類がフロントアクセス 組み立て簡単 いけてるインフラアルバイトのid:hxmasakiが組み立てると15分 1ラックに60台以上搭載可能 もちろん、電源容量との兼ね合いもあります ディスクのホットスワップが可能 低消費電力 お値段据え置き 以前の自社製サーバとほぼ同価格 といったところがあげられ
http://www.hirohama.biz/data/mysql_cluster_2.pdf
176 JAVA PRESS Vol.42 ( ) JAVA PRESS Vol.42 177 jdbc:mysqll://host1:3306,host2:3307 178 JAVA PRESS Vol.42 q w e q w JAVA PRESS Vol.42 179 q w e r q w package com.example; import java.sql.*; import java.util.*; public class MySQLClusterTest { public static void main(String[] args) throws Exception { Properties prop = new Properties(); prop.put("autoReconnect", "true"); prop.put("roundRobinLoadBalan
Catalyst を daemontools で監視しつつ lighttpd の外部 FastCGI で走らせる方法とそのメリット - Craftworks Tech Blog - Branch
JPA セミナーの時に jshery 氏も勧めていましたし、近頃 Geek の話題で目立つようになってきた、Catalyst を mod_perl でなく、外部 FCGI として走らせる設定方法を紹介します。 Catalyst プロセスの起動管理は DJB 氏の daemontools による管理がお勧めです。プロセスが死んでも自動的に再起動してくれます。手動での再起動も楽です。screen からショートカットキー登録して Catalyst を再起動する方法も後ほど紹介します。 Catalyst の FastCGI 起動の設定 まずは daemontools の run スクリプトです。 run #!/bin/sh exec 2>&1 exec env - \ PATH='/bin:/usr/bin:/usr/local/bin:/var/www/www.example.com/scrip
ムノハラブログ » Blog Archive » Amazon EC2童貞卒業までの道程 その2
前回までの「Amazon EC2童貞卒業までの道程」 さてそれではSSHでの接続に挑戦☆ なんかどのサイト見ても、Puttyっていうターミナルソフトを使う方法しか書いてないので、とりあえず自分もそれに倣ってみる。 よくわかんないけどここ↓から「putty.exe」と「puttygen.exe」をダウンロード http://www.chiark.greenend.org.uk/%7Esgtatham/putty/download.html 次に秘密鍵を作成。 １）「Elasticfox Firefox Extension for Amazon EC2」の「KeyPairs」タブをクリック。 ２）「Create a new keypair」ボタンをクリック。 ３）ダイアログが表示されるので、適当な名前を入力。 ４）ファイル保存ダイアログが表示されるので、適当な場所を選択。 上で作成した秘密鍵は
Tire Rack - Your performance experts for tires and wheels
FAST FREE SHIPPING ON TIRES, WHEELS & MORE You’ll get free shipping on all orders over $50*. That’s right! Tires, wheels, brakes, suspension and all parts and accessories. It’s the way tire buying should be. *Free shipping includes standard ground shipping. Other exclusions apply.
ゆーすけべー日記
サキとは彼女の自宅近く、湘南台駅前のスーパーマーケットで待ち合わせをした。彼女は自転車で後から追いつくと言い、僕は大きなコインパーキングへ車を停めた。煙草を一本吸ってからスーパーマーケットへ向かうと、ひっきりなしに主婦的な女性かおばあちゃんが入り口を出たり入ったりしていた。時刻は午後5時になる。時計から目を上げると、待たせちゃったわねと大して悪びれてない様子でサキが手ぶらでやってきた。 お礼に料理を作るとはいえ、サキの家には食材が十分足りていないらしく、こうしてスーパーマーケットに寄ることになった。サキは野菜コーナーから精肉コーナーまで、まるで優秀なカーナビに導かれるように無駄なく点検していった。欲しい食材があると、2秒間程度それらを凝視し、一度手に取ったじゃがいもやら豚肉やらを迷うことなく僕が持っているカゴに放り込んだ。最後にアルコール飲料が冷やされている棚の前へ行くと、私が飲むからとチ
Googleのサーバーが公開された - 発言注意！
データセンター単位でなく、各サーバーに12Vバッテリーを積んでいるのが特徴。写真右上がバッテリーで、赤黒のケーブルが左側の電源ユニットまで伸びているのがわかります。記事にもあるように、データセンター単位で巨大なUPSを用意するのに比べると、圧倒的なコスト優位性があります。 実はもっと驚いたのが、12V電源だけでサーバーが動くように、特注マザーボードを作らせているのですよね。自作派の方ならご存じの通り、マザーボードには12Vと5Vがあるのですが、メーカーに12Vバッテリーだけで動作するようなマザーボードを作らせています。12Vのみなので、バッテリ自体のコストを抑えたり、変圧による電源効率ダウンを抑えたりみたいなのが、期待できそうです。 写真をみてわかるように、通常の20+4pinとか、4+4pinとかじゃないようですが、ケーブルが邪魔でよく見えない。 このあたり 写真をみると、GigaByt
Googleサーバーの寸法 - marqs blog
CNETの記事にてGoogleのサーバーが公開されています。 Google uncloaks once-secret server | Business Tech - CNET News マザーボードにVGAポートがない サーバにバッテリー内蔵(Distributed on-board UPS) HDDや電源のマウントが意外とマジックテープ PUEがすごい ネットワーク機器もバッテリ内蔵 LANポートは一つ 電源からのケーブル数が少ない などなど興味深い点がいろいろあります。 せっかくなので、記事を読むついでに写真からサイズを（だいたい）推測してみました。大きいと感じるか、小さいと感じるか、どうでしょうか。個人的には、大きさ以外に、バッテリと電源の位置関係も気になっています。 ボードはE-ATXっぽいですね。 記事中に高さは3.5inchと書いてあるので、実際は88mmくらいかも。
High Performance Web Pages - 20 new best practices
The document discusses best practices for improving web page performance. It begins by noting how slow pages negatively impact user experience and business metrics. It then outlines 14 best practices such as minimizing HTTP requests, using a content delivery network, gzipping components, optimizing images, and avoiding redirects. Additional best practices are also provided such as preloading compo
blog.katsuma.tv
greeさんで開催されたKey Value Store勉強会に行ってきました。 時間にして4時間超え、内容も国内のKey-Value Storeなソフトウェアの最前線の話ばかりで相当なボリューム。以下、メモってたのを残しておきたいと思います。（誤字、脱字、内容に誤りを含むものなどありましたらお伝えください）また、発表者の方やプロダクトについて、ざっくり調べてURL見つけられたものについてはリンク張っています。 森さん / 末永さん groonga Sennaの後継エンジン 融通が効かないのがSennaのデメリット スコア算出式のカスタマイズなど Sennaの転置索引 索引の構成部品を自由に組み合わせて使える APIもいろいろ QL DB Low Level memcached互換のkey-value store バイナリのみ対応 計測 クライアント memstorm-0.6.8 mem
ke-tai.org > Blog Archive > ケータイ大規模サービスの開発・運用に関する資料のまとめ
ケータイ大規模サービスの開発・運用に関する資料のまとめ Tweet 2009/2/18 水曜日 matsui Posted in 記事紹介・リンク | 5 Comments » 先月末に「満足せる豚。眠たげなポチ。大規模サービスの運用事例まとめ」という大変素晴らしいブログエントリーがあり、ブックマークしていたのですが、なかなか時間を作れずに目を通せずにいました。 本日読んでみると、とてもためになる情報が多かったため、まとめのまとめという形ですが、資料の中からケータイ関係の事例を抽出して、簡単にコメントをつけてみました。 まず、大元の記事はこちらです。 → 満足せる豚。眠たげなポチ。 大規模サービスの運用事例まとめ [blog.hacklife.net] → 満足せる豚。眠たげなポチ。 「大規模サービスの運用事例まとめ」に補記 [blog.hacklife.net] → livedoor 開
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
daisukeyamashita.com
はてなオリジナルPCサーバーフレーム CMX-50
一定規模以上のWebサイトを運営しているエンジニアの方、業務時間外の障害対応ってどういう風にやっていますか？ - 人力検索はてな
Web高速化 || パフォーマンスチューニングBlog: インターオフィス
