Facebook、memcachedに300TB以上のライブデータを置く大規模運用の内側
クラウドのように大規模なシステムでは、ソフトウェアの開発と同等以上に、大規模運用の巧拙が、システム全体の成功を大きく左右します。 6月22日から、米サンタクララで行われていたWebサイトのパフォーマンスと運用に関するオライリーのイベント「Velocity 2010」で、FacebookのTechnical Operations teamを担当するTom Cook氏が「A Day in the Life of Facebook Operations」（Facebook運用のある1日）と題したセッションで、Facebookがふだんどのような運用を行っているか、紹介しています。 世界でトップクラスの大規模サイトが、普段どのようなツールを用い、どのような方法で運用しているのか、セッションの内容を紹介しましょう。 6年で4億アクティブユーザー、3カ所のデータセンター Tom Cook氏。Facebo
大規模インフラの監視システム その2 | GREE Engineering
こんにちは。グリーのmdoi(@m_doi)です。 今回は、グリーの監視システムについて説明したいと思います。以前、こちらの記事にて、リソース監視システムの説明をさせて頂きましたが、死活監視やログ監視については語られなかったので、気になっていた方も多いと思います。ということで、今回は、グリーのインフラにおける死活監視やログ監視、アラート通知システムを紹介したいと思います。 何を使っているの？ グリーでは、死活監視にNagiosを使用していました。監視システムの中では、かなり有名なソフトウェアですから、監視システムの構築に使用したことがある方も多いのではないでしょうか。プラグインも豊富に存在するので、様々な監視を行うことができます。死活監視は、このNagiosの機能をそのまま利用し、ログ監視は、Nagiosと独自に作成したエージェント及びログフィルタを連携させて行っていました。 全体のシステ
Javaを動かせるレンタルサーバー - しんさんの出張所 はてなブログ編
以前こういうのは何度か書いていたが、前回書いてから1年以上たっていた。この間に何が変わったか。 単純なJava対応という名前では増えていないように見える。 でも、Javaが動く格安レンタルサーバーはものすごく増えた。 理由はVPS。1年前のエントリの時点でいくつかあったが、メモリがやはり少ないこと、メモリを少し増やすと価格が高くなりすぎるのがネックだった。 そして今ではメモリがかなり多い。ローエンドでも512MBになっているところが多い。これだけあればRDBとJavaと余裕で動かせる。OSがWindows Serverの場合1GBはほしいが、1GBもだいぶ安い。 なにより、1年前と比べてWindows Serverを選択できるのが大量に出てきている。今まではOSはLinux、しかもCentOSが圧倒的シェアを持っていたが、今ではWindowsも選べるところが多く、価格はやや高いもののこちら
KVSを使った高速配信Webサーバ·クリティカルスピード MOONGIFT
クリティカルスピードは〜のオープンソース・ソフトウェア。高速なレスポンスを行うWebサーバは誰しもが願う所だ。Googleがあれだけ大きく成長したのは検索のアルゴリズムはもちろんのこと、高速なレスポンスにも一因があったと思われる。欲しい情報がすぐに手に入るというのはとても気分がいい。 表示が速い！ Webサーバで高速化を行うための手法は幾つか存在する。並列化したり、サーバのスペックを上げたり、ネットワークを強化すると言った方法の他、システム側でも対応できるものがある。その一つ、高速配信サーバのクリティカルスピードを紹介しよう。 クリティカルスピードの最大の特徴はKVS（キー・バリュー・ストア）をWebサーバとして使っていることだ。KVSとしてTokyoTyrantを採用しているが、今後はLuxIO、kumofs、ROMAといった他のKVSにも対応していくとのこと。WebサーバはPlack/
livedoor Techブログ : ウェブサービスのサーバ増設の基本（1台構成から仮想化まで）
お疲れ様です、スエヒロです。 先日発売されました、弊社技術陣が執筆した「4Gbpsを超えるWebサービス構築術」、お手に取って頂けたでしょうか？ ウェブサービスの負荷対策、分散技術など、実用的な話が盛りだくさんの本書ですが、本日は実際に稼働しているサービスのサーバスケールアウト方法を、弊社サービス「livedoor ニュース」を例にしてご紹介したいとおもいます。 0. 問題点の把握 2003年オープンしました「livedoor ニュース」ですが、当時はアクセス数、データ量も少なかったため、サーバ1台で運用していました。 静的な画像やcss、javascriptへのリクエストを処理するapache（80ポート）と、動的コンテンツへのリクエストを処理するmodperl組み込みのapache（8080ポート）を切り分け、mod_rewriteでリバースプロキシし、リクエストをながしています。リバ
グーグル、自社設計のサーバを初公開--データセンターに見る効率化へのこだわり - CNET Japan
カリフォルニア州マウンテンビュー発--Googleは、自社のコンピューティングの運用については多くを語らない。しかしGoogleは米国時間4月1日、当地で行われた、注目度が高まっているデータセンターの効率性に関するカンファレンスで、そのインターネットの力の中枢にあるハードウェアを初めて公開した。 ほとんどの企業は、DellやHewlett-Packard（HP）、IBM、Sun Microsystemsのような企業からサーバを購入している。しかしGoogleは、何十万台ものサーバを保有していて、そのサーバを稼働させることが自社の中心的な専門技術の一部だと考えており、自社独自のサーバを設計および構築している。Googleのサーバの多くを設計したBen Jai氏は、高度な技術を持つ、非常に熱心な聴衆の目の前で、現在のGoogleサーバを公開した。 Googleサーバで非常に驚くのは、サーバ1台
ITpro クラウド・コンピューティングを支えるサンのフロントエンドサーバー技術
様々なITサービスをインターネット経由で利用する「クラウド・コンピューティング」が注目されている。その実現に不可欠なのは，サービスの普及に伴ってデマンドが増加した場合にも柔軟に対応できる，高いスケーラビリティを備えたサービス提供側のインフラだ。サン・マイクロシステムズは20年以上も前から，クラウド・コンピューティングの到来を予言するかのように，「The Network is The Computer」，つまりネットワークこそがコンピュータであるというビジョンに基づき，ネットワーク・コンピューティングを実現するアーキテクチャを追求してきた。 インターネットの爆発的な普及や企業によるWebを利用したサービスの活用など，ネットワーク・コンピューティングは日々進化を続け，その流れは，様々なITサービスをインターネット経由で提供する「クラウド・コンピューティング」へと向かいつつある。 サンは，創業当
とあるはてな社員の日記 - まっさらなサーバを30分で本番投入できるようにする
すこし前にはてなスターのリリースがされたのですが、サービス開始直後にありがちなことに、時々負荷で遅くなったり、アクセスしにくくなったりしてしまいました*1。これではいけない、ということで、すぐ次の日に、バックエンドのサーバを一気に10台近くまで増やして、おおむね快適に使える状態になっていると思います。この時に、新しいサーバをまっさらな状態から、だいたい30分程度で本番投入することができていました。これを、どのように実現したのかを軽く紹介したいと思います。 ちなみに、サービスの重さは、サーバ増強だけで済むものではなく、それ以降も、Javascriptが重い!とか、アプリケーションロジックで重いSQL を走らせてしまって遅いという問題は何回かありました。が、そこはインフラではなく、アプリケーションの問題で、アプリケーションの改善は、継続的に進んでいると思います。ので、今回は、インフラの話に限定
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Twitterにおける大規模システム構築、3つの原則
x.com
IBM Developer
Hadoop、hBaseで構築する大規模分散データ処理システム