タグ

ブックマーク / www.publickey.jp (6)

  • TwitterとDiggがNoSQLの「Cassandra」を選ぶ理由

    スケーラブルなデータベースを実現する手段として「Sharding MySQL plus memcached」がよく知られる方法だとは、1つ前の記事「MySQL+Memcachedの時代は過ぎ、これからはNoSQLなのか、についての議論」で紹介しました。 ちなみに「Sharding」(シャーディング)とは複数のデータベースにデータを分散して運用することで、ざっくりいえばShared Nothing的な分散データベース構成のことです(この記事で紹介する英文中には「Shared MySQL」(共有MySQL)との記述がありますが、これは恐らく「Sharded MySQL」(ShardされたMySQL)のミススペルではないと推測します)。 日で(たぶん)もっともMySQLについて詳しく解説してあるブログ「漢(オトコ)のコンピュータ道」のエントリ「さらにMySQLを高速化する7つの方法」では、Sh

    TwitterとDiggがNoSQLの「Cassandra」を選ぶ理由
  • Twitterのクジラ解剖学、あるいは彼らがいかにサーバの処理能力を向上させたか

    Twitterを利用していると、ときどきクジラの絵の画面が表示されることがあります。これはTwitterの処理能力がパンクして一時的に利用不可になったときに表示されるお馴染みの画面。 2月9日にTwitter Engineeringブログにポストされたエントリ「The Anatomy of a Whale」(クジラの解剖学)では、Twitterエンジニアたちがこのクジラの内部に分け入ってどのようにTwitterサーバの処理能力を向上させたのか、という話が詳しく語られています。 彼らが行ったのは、まず詳細なデータを取得して原因がどの辺にあるのかを推測すること。そこから多数の無駄な処理を発見し、ソースコードの修正による性能の向上に成功します。 元記事は非常に長いエントリになっていますが、問題の調査から解決に至るアプローチについて多くのエンジニアの方の参考になりそうな内容が含まれていますし、T

    Twitterのクジラ解剖学、あるいは彼らがいかにサーバの処理能力を向上させたか
  • Amazonクラウドの日本法人が活動開始。国内でのサポート、コミュニティとの連係など体制強化へ

    Amazonクラウドを運営するAmazon Web Servicesの日法人、Amazon Data Services Japanが活動を開始しました。現在、同社には社員が2人在籍し今後さらに陣容を拡大していくと、同社のマーケティングマネージャー 小島英揮(おじまひでき)氏が、昨年の12月25日に行われた「Amazon EC2ユーザ会」で明らかにしました。 Amazon Data Services Japanマーケティングマネージャの小島氏。前職はアドビシステムズでFlashなどのマーケティング担当だった マーケティングマネージャの小島氏がAmazon Data Services Japanに入社したのは昨年の12月。同社にはデータセンターを担当するもう1人の社員がおり、現在さらにテクニカルサポート、ソリューションアーキテクト、営業統括などの役割を担う社員を募集中。「われこそはと思う方は

    Amazonクラウドの日本法人が活動開始。国内でのサポート、コミュニティとの連係など体制強化へ
  • Facebookが大規模スケーラビリティへの挑戦で学んだこと(前編)~800億枚の写真データとPHPのスケーラビリティ問題

    Facebookが大規模スケーラビリティへの挑戦で学んだこと(前編)~800億枚の写真データとPHPのスケーラビリティ問題 全世界で3億人を超える会員を抱え、世界最大のSNSとなったFacebook。同社の巨大なシステムは、3つのデータセンターにある約3万台のサーバと、PHPC++、Memcache、MySQLなどのソフトウェア群によって支えられています(同社のデータセンターの巨大さは、記事「3億のユーザーを抱えるFacebookのデータセンター。移動は自転車、希望は100Gbイーサネット 」を参照)。 同社の技術担当バイスプレジデント Jeff Rothschild氏は、Facebookが実現している大規模なスケーラビリティを、いかにしてこれらのソフトウェアで実現しているのか、10月8日に米カリフォルニア大学サンディエゴ校で行ったセミナー「High Performance at Mas

    Facebookが大規模スケーラビリティへの挑戦で学んだこと(前編)~800億枚の写真データとPHPのスケーラビリティ問題
  • 3億のユーザーを抱えるFacebookのデータセンター。移動は自転車、希望は100Gbイーサネット

    ユーザー数が全世界合計で3億人を突破した、と9月15日に発表したばかりのFacebook。Webサイトの利用者数は、グーグル、ヤフー!に次ぐ規模だといわれています。 同社のエンジニアDonn Lee氏が、そのFacebookのデータセンターとネットワーク構成の内容を、Ethernet Allianceのイベントで紹介していました。EETimesが公開しているプレゼンテーションのビデオから、3つほど興味深いシーンを紹介しましょう。 まずは同社のデータセンターで稼働している典型的なサーバラックの様子。クアッドコアをマザーボード上に複数搭載した強力な1Uのサーバが、ラック上部でアグリゲーションされている、と説明されています。 データセンターのこの巨大さはどうでしょう。奥の方までずっとラックが続いています。これは標準サイズのデータセンターとのこと、そして写真中央にあるように、移動にはしばしば自転車

    3億のユーザーを抱えるFacebookのデータセンター。移動は自転車、希望は100Gbイーサネット
  • グーグルの最新のデータセンターは非常識なほど進化している

    昨日はITpro主催のイベント「ユーザー企業のためのエンタープライズ・クラウドフォーラム」に参加してきました。 日経コンピュータ 中田敦記者のセッション「みえてきたクラウドのコスト」では、グーグル、アマゾン、マイクロソフトの最新データセンターの動向を紹介してくれたのですが、これが非常に興味深い内容でした。セッションの内容からトピックを2つほど紹介します。 大規模データセンターは7倍効率がよい 1つ目は、日経コンピュータ2009年7月8日号で同記者が記事としても書いていることなのですが、データセンターの規模の経済について。1000台クラスの中規模データセンターと、5万台クラスのデータセンターを比較すると、大規模データセンターのほうが7倍も効率がよいというデータが示されています。 つまり、ユーザーがある大きさのコンピュータリソースを調達しようとするとき、大規模データセンターは中規模データセンタ

    グーグルの最新のデータセンターは非常識なほど進化している
  • 1