米Yahoo!がシステムダウンしない5つの理由
昨年の10月14日、米Yahoo!のトップページがダウンしたと、米Huffington Postが記事「Yahoo DOWN: Yahoo.com Outage Reported」で伝えました。米Yahoo!にとってトップページがダウンすることはきわめてまれなことで、この件が発生するまでほぼ10年にわたりトップページのダウンは起きていなかったと言われています。 その米Yahoo!はシステムダウンを防ぐためにどのような取り組みをしているのか？ 米オライリーが主催したイベント「Velocity 2011」で、Yahoo!サービスエンジニアリング部門のVice President、Jake Loomisが行ったセッション「Why the Yahoo FrontPage Went Down and Why It Didn't Go Down For up to a Decade before Th
サーバはデータセンターの中を液体のように流れるような存在になる、という仮説
先日、あるIT関係の集まりで、大手ネットワーク機器ベンダの偉い人がこんな話をしてくれました「最新のイーサネットは、サーバの内部バス並のスピードで通信ができる。これはすごいことだよね」と。 いま市場では10ギガビットーサネットが普及し始めているところですが、すでにその次の世代のイーサネットとして40ギガビットイーサネットと100ギガビットーサネットも昨年、IEEEによって標準化されており、まだ非常に高価ですが製品が登場し始めています。 その話を聞く少し前、僕は別の大手システムベンダの偉い人のこんな話を聞いていました。「これから2年もしないうちにサーバの形が大きく変わっていく。すごく面白くなるはずだ」と。 この2つの話はつながっているように思えました。 サーバは液体のように流動的で論理的な存在に クラスタを構成するネットワークが内部バス並みに高速になれば、あるサーバの負荷が高まってきたときには
データセンターを進化させるためにeBayが行っていること
ほぼ同じ処理性能を発揮する3つのクラスタ、2.9GHzのCPUを積んだサーバ2000台と、1.6GHzのサーバ3663台、3.46GHzのサーバ1694台。どれが最もトータルコストが安いのか？ eBayのDean Nelson氏は、こうした緻密な試算を積み重ねてデータセンターの構成を決定していることを、スイスで開催された「2011 European Data Centre Summit」のセッションで解説しています。 最新のデータセンターはどのような設計思想の上に成り立っているのか。公開されているセッションのビデオから紹介します。 What have we learnd in our Data Centers eBayのDean Nelson氏。 まずはeBayの基本的なデータを紹介しよう。eBayは1日に2ビリオンページビューのWebサイトで、23ミリオン行のソースコード、1日に75ビリ
レッドハット、オープンソースによるIaaS基盤「CloudForms」と、PaaS基盤「OpenShift」を発表
レッドハット、オープンソースによるIaaS基盤「CloudForms」と、PaaS基盤「OpenShift」を発表 オープンソースのパワーをクラウドに投入するとして、レッドハットはIaaSを実現する「CloudForms」と、PaaSを実現する「OpenShift」の一連のソフトウェア製品群を、5月3日から行われたイベント「Red Hat Summit 2011/JBossWorld 2011」で、発表しました。 すでにクラウドを実装するためのオープンソースソフトウェアはさまざまなものが登場しています。IaaSを実現するものとしては、EucalyptusやOpenStack、CloudStackなどがあり、PaaSを実現するオープンソースソフトウェアとしては、VMwareがCloudFoundryを発表しています。 レッドハットの今回の発表は、IaaSとPaaSのスタックを一貫してオープン
グーグル、NoSQL軽量ライブラリ「LevelDB」を公開。ChromeブラウザのIndexedDBとして採用
LevelDBはSQLをサポートせず、クライアント／サーバ型でもなく、シングルプロセスからアクセスされることを想定したいわゆるNoSQLの高速なキーバリュー型データストアを実現するためのライトウェイトなライブラリだと説明されています。 ChromeブラウザでHTML5の仕様として策定中のIndexedDBを実装するものとして開発されたようです（ドキュメントに明記されていないのですが）。 LevelDBを開発した理由 LevelDBのWebサイトによると、LevelDBは以下の主な機能を備えています。 基本的な操作は、Put(key,value), Get(key), Delete(key) 1つのトランザクションとして複数の変更操作が可能 データは自動的に圧縮し保存される Hacker Newsの記事によると、当初はLevelDBを開発する代わりに平林幹雄氏が開発したTokyo Cabin
［速報］グーグル、Webアプリのマネタイズを提供、わずか5％の決済手数料。Google I/O 2011
［速報］グーグル、Webアプリのマネタイズを提供、わずか5％の決済手数料。Google I/O 2011 グーグルがサンフランシスコで開催中のイベント「Google I/O 2011」。2日目の基調講演はWebがテーマになりました。Webアプリケーションでの課金、高速なゲームの実現、そしてChromeを搭載した専用のノートPCである「Chromebook」が発表されました。 2日目の基調講演の模様を紹介しましょう。 Chromeはさらに高速に 昨日に続いて、グーグル Senior Vice PresidentのVic Gundotra氏登場。Galaxy Tabは気に入ってくれたかな？ 今日のテーマはWebだ。Chromeチームはスピード、セキュリティ、機能などに関してWebを前進させてきた。Chromeの今後について話をしよう。 Chrome担当、Senior Vice Presiden
［速報］Chrome OSを搭載したChromebook、ついに来月発売。サムソンとエイサーから。Google I/O 2011
［速報］Chrome OSを搭載したChromebook、ついに来月発売。サムソンとエイサーから。Google I/O 2011 グーグルがサンフランシスコで開催中のイベント「Google I/O 2011」。2日目の基調講演はWebがテーマになりました。Webアプリケーションでの課金、高速なゲームの実現、そしてChromeを搭載した専用のノートPCである「Chromebook」が発表されました。 2日目の基調講演、前半ではWebアプリ内課金などの発表が行われました。続きを紹介しましょう。 （この記事は「［速報］グーグル、Webアプリのマネタイズを提供、わずか5％の決済手数料。Google I/O 2011」の続きです）
VMwareのvCloudデータセンターを首都圏に設置、ソフトバンクテレコムとVMwareが提携
VMwareとソフトバンクテレコムは今日2月22日、両社が提携し、ソフトバンクテレコムがVMwareのパートナー制度「vCloud」の認定パートナーとしてvCloudデータセンターを、同社の梶が谷（川崎市高津区）にあるデータセンター内に設置すると発表しました。 vCloudデータセンターは企業向けに普及しているVMwareの仮想化ソフトウェアをベースとしているため、企業内のデータセンターとvCloudデータセンターがシームレスに連係できるのが最大の特徴。ソフトバンクテレコムの宮内謙 代表取締役副社長兼COOは会見で「エンタープライズレベル、ミッションクリティカルなシステムを（vCloudで）俊敏に作ることができる」と、企業向けのクラウド市場への意欲を明らかにしています。 ソフトバンクテレコムは3月から梶が谷のデータセンターで、佐川急便の情報子会社であるSGシステムや野村證券など3社とvCl
「少人数のチームの方がソフトウェアの品質は高い」実証的ソフトウェア工学の研究会が開催
統計や実証を通してソフトウェア工学を研究していく、それが「エンピリカルソフトウェア工学」（Empirical Software Engineering、実証的ソフトウェア工学）です。「第一回エンピリカルソフトウェア工学研究会」が、12月10日に都内で開催されました。 基調講演では、マイクロソフトリサーチで研究をしているDr. Thomas Zimmermann氏が登壇。開発組織の構造がソフトウェアにどう影響するのか、バグ報告書やバグ報告者と修正されるバグの優先順位の関係、そしてエンピリカルソフトウェア工学という「データ指向のソフトウェア工学」を、どのようにソフトウェア開発における意志決定に役立ていくのか、といった内容の講演でした。 開発組織の構造がソフトウェア品質に及ぼす影響は？ マイクロソフトリサーチのDr. Thomas Zimmermann氏。 今日はいくつかのテーマについて紹介した
Twitter、リアルタイム検索をLuceneで構築。50倍高速に！
Twitterのリアルタイム検索機能が、オープンソースのLuceneベースになったと、Twitter Engineeringブログへのエントリ「Twitter's New Search Architecture」で紹介されています。 これまでTwitterはリアルタイム検索にMySQLベースの独自システムを利用してきましたが、規模の拡大が難しくなってきたため、6カ月前に新システムの構築を決定。オープンソースの検索エンジンであるLuceneを選択したとのことです。 従来の50倍も高速に！ 検索エンジンに対する要件は以下のように非常に厳しいものでした。 Our demands on the new system are immense: With over 1,000 TPS (Tweets/sec) and 12,000 QPS (queries/sec) = over 1 billion
MySQLからフォークし、クラウド用に最適化したDrizzleがベータ版公開
MySQLを再デザインしてクラウドのような大規模分散環境に最適化し、モジュラー構造にした「Drizzle」。そのベータ版が公開されたとAdrian Otto氏のブログのエントリ「Drizzle is now BETA」で報告されています。 クラウド環境に最適化したデータベース Drizzleの開発が始まったきっかけは、米クラウドベンダRackSpcaceのCTOが、MySQLの主要な開発者の1人であったBrian Aker氏に、「memcachedやGearmanを内部的に組み合わせて使える、スリムダウンしたMySQLを作ろうと思ったことはないのか？」と聞いたことだったそうです（＠IT「Drizzleプロジェクトの目指すもの、その先を読む」から引用）。 DrizzleのWebサイトには、その主旨（Charter）とスコープが宣言されています。以下がその訳です。 主旨 クラウドインフラストラ
経過報告：「SAP」をSocial Application Providerの略として使うのはやめませんか
ちょうど一週間前に、呼びかけ：「SAP」をSocial Application Providerの略として使うのはやめませんかという記事を公開し、これに伴って具体的に何人かの方にはTwitterを通じて呼びかけさせていただきました。 この呼びかけに対してどんな反応があったのか、現時点でのまとめをこの記事で報告させていただきます。 Twitterでの呼びかけに、斉藤氏、切込隊長からご返事いただく 呼びかけの記事で、記事公開前にTechCrunch Japanの西田隆一編集長とTechWaveの湯川鶴章編集長に呼びかけさせていただき、それぞれ前向きな受け止めをしていただいたことは報告しました。 みんなサップと読んでいます。日本だけか確認しますが、当事者の間では定着しています。確かに言葉としてまぎらわしさはありますね。僕は言葉にこだわりがないので、違う表現を考えてみます。RT @jniino:
グーグルが構築した大規模システムの現実、そしてデザインパターン（3）～教訓編
グーグルが「Evolution and Future Directions of Large-Scale Storage and Computation Systems at Google」（グーグルにおける、大規模ストレージとコンピュテーションの進化と将来の方向性）という講演を、6月に行われたACM（米国計算機学会）主催のクラウドコンピューティングのシンポジウム「ACM Symposium on Cloud Computing 2010」で行っています。 講演の内容を4つの記事（MapReduce編、BigTable編、教訓編、デザインパターン編）で紹介しています。この記事はBigTable編の続き、教訓編です。 大規模分散処理システムの構築から学んだこと ここからは、グーグルがたくさんのシステムを経験して学んだことと、それらのデザインパターンなどを紹介していきたい。 まず、大きく複雑な
呼びかけ：「SAP」をSocial Application Providerの略として使うのはやめませんか
このエントリは広くITに関わるブロガー、ジャーナリスト、メディア、広報、マーケティングなどのみなさんへの呼びかけです。 呼びかけの内容 ミクシィやグリー、モバゲーといったソーシャルネットワークの上で、ゲームなどのアプリケーションを提供する企業や組織、個人などをSocial Application Provider（ソーシャルアプリケーションプロバイダ）と呼ぶようになっていますが、その略語として「SAP」が使われている文章を最近目にするようになりました。 しかしこの「SAP」を、Social Application Providerの略語として使うのはやめませんか？ これが僕の呼びかけです。理由を以下に示します。 略語SAPをやめよう、という呼びかけの理由 理由1：混乱しやすい3文字略語を増やすことになる SAPはすでに多くの方がご存じのように、ERPなどで有名なドイツの企業SAPの名称とし
ミクシィのNoSQLデータベース「Tokyo Tyrant」をNetVibesが採用した理由
カスタマイズ可能なポータルサービスを提供するフランスの「NetVibes」は、バックエンドデータベースとしてミクシィの平林幹雄氏が開発し、同社内でも利用されているNoSQLデータベースの「Tokyo Tyrant/Tokyo Cabinet」（以下Tokyo Tyrant）を採用しているそうです（追記：平林氏は7月末でミクシィを退職されるとのこと）。 なぜNetVibesはTokyo Tyrantを採用したのか、その理由がmyNoSQLの記事「Netvibes: A Large Scale Tokyo Tyrant Deployment Case Study」で紹介されています。NetVibesは、Hadoop、CouchDB、Tokyo Tyrant、File system、MySQLを評価した上でTokyo Tyrant/Tokyo Cabinetを採用したとのこと。 NetVibes
TwitterがBitTorrentで高速にデプロイしている仕組みについて
Twitterは、同社の何千台ものサーバに対してバイナリをデプロイする場合に、ピア・ツー・ピアシステムのBitTorrentを利用したツール「Murder」を用いていると、7月1日の記事「Twitterの大規模システム運用技術、あるいはクジラの腹の中（後編）～Twitterのサブシステム「Unicorn」「Kestrel」「Flock DB」」で紹介しました。 FacebookでもBitTorrentによる大規模なデプロイが高速に行われていることは、7月16日の記事「Facebook、memcachedに300TB以上のライブデータを置く大規模運用の内側」で紹介しました。 どうやら大規模システムにおけるデプロイではBitTorrentの利用が進んでいるようです。 7月15日付けのTwitter Engineering Blogに、Twitterのエンジニア、Larry Gadea氏による「
クラウド事業者のためのオープンソースプロジェクト「OpenStack」
クラウドのプラットフォームとなる、スケーラブルな計算システムと分散オブジェクトストアなどのソフトウェアをオープンソースとして開発しようという「OpenStack」がスタートしました。 OpenStackの中心となったのは、クラウド事業者のRackspace HostingとNASA（アメリカ航空宇宙局）。そのほか、デル、シトリックス、NTTデータ、インテル、AMD、RightScaleなど多くの企業が参加を表明しています。 OpenStackのWikiには、ミッションが次のように記されています。 to produce the ubiquitous Open Source Cloud Computing platform that will meet the needs of public and private cloud providers regardless of size, by
Facebook、memcachedに300TB以上のライブデータを置く大規模運用の内側
クラウドのように大規模なシステムでは、ソフトウェアの開発と同等以上に、大規模運用の巧拙が、システム全体の成功を大きく左右します。 6月22日から、米サンタクララで行われていたWebサイトのパフォーマンスと運用に関するオライリーのイベント「Velocity 2010」で、FacebookのTechnical Operations teamを担当するTom Cook氏が「A Day in the Life of Facebook Operations」（Facebook運用のある1日）と題したセッションで、Facebookがふだんどのような運用を行っているか、紹介しています。 世界でトップクラスの大規模サイトが、普段どのようなツールを用い、どのような方法で運用しているのか、セッションの内容を紹介しましょう。 6年で4億アクティブユーザー、3カ所のデータセンター Tom Cook氏。Facebo
グーグルがWebを高速化するために何をしているか
本のページをめくるように、どんなWebページも素早く表示できるようにする。グーグルは以前からWebの高速化に取り組んできました。 6月22日から、米サンタクララで行われていたWebサイトのパフォーマンスと運用に関するオライリーのイベント「Velocity 2010」では、グーグルのUrs Hölzle氏がWebの高速化技術について「Speed Matters」（スピードの重要性）というセッションで紹介ています。 Webを高速化するためにどのような技術があり、あるいはどのような技術が検討されているのか、このセッションの内容を紹介しましょう。 スピードは重要だ 私が話そうとしているのは、「Speed matters｣（スピードの重要性）についてだ。Webは空飛ぶジャガイモより速くなれるだろうか？ どのくらい速くなれるだろうか？ （参考：オペラがやってくれた！ グーグルの空飛ぶジャガイモに対抗）
さくらインターネット、NoSQLデータベースのテストサービスを開始
サーバホスティング大手のさくらインターネットは、NoSQLデータベースの一種であるキーバリュー型データストア（KVS）を試験的に同社のサーバ上で提供する「KVSアルファテストサービス」を行うと、さくらインターネット研究所のブログで明らかにしました。 キーバリュー型データストアは、リレーショナルデータベースよりも単純な形式でデータを格納し、データ操作もシンプルなため、スケーラビリティや高速なアクセスを実現しやすく、クラウドの特徴を活かせるデータベースとして最近注目されています。 今回のアルファテストサービスでは、memcachedプロトコルを用いてさくらインターネット研究所が提供するキーバリュー型データストアを運用しているクラウドへアクセスし、利用する形態をとるようです。 KVSの中身はグリーが開発したFlare キーバリュー型データストアにはApache FoundationのCassan
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
