Twitterの大規模システム運用技術、あるいはクジラの腹の中（後編）～Twitterのサブシステム「Unicorn」「Kestrel」「Flock DB」
Twitterの大規模システム運用技術、あるいはクジラの腹の中（後編）～Twitterのサブシステム「Unicorn」「Kestrel」「Flock DB」 米サンタクララで行われていたWebサイトのパフォーマンスと運用に関するオライリーのイベント「Velocity 2010」の、Twitterのシステム運用について説明するセッション「In the Belly of the Whale: Operations at Twitter」（クジラの腹の中：Twitterでの運用）を紹介をしています。 この記事は「「Twitterの大規模システム運用技術、あるいはクジラの腹の中（前編）～ログの科学的な分析と、Twitterの「ダークモード」」の続きです。 Twitterのサブシステム「loony」「Murder」「memcached」 ここからはTwitterのサブシステムについて紹介しよう。 T
NoSQLを上回る性能のVoltDB、そのアーキテクチャとは
データベース研究者の大御所、マイケル・ストーンブレイカー氏が開発し、NoSQLデータベースをも上回る性能を発揮するリレーショナルデータベース「VoltDB」。前回の記事では、その特徴と、NoSQLデータベースのCassandraとのベンチマーク比較を紹介しました。 今回はVoltDBのアーキテクチャについて調べたことをご紹介しようと思います。基本的にはVoltDBのWebサイトやリンク先の内容を基にしています。また、ブログ「独り言v6」のエントリ「VoltDB登場 – RDBMSのようでRDBMSではない新システム」も参考にさせていただきました。 シェアドナッシングな分散インメモリデータベース VoltDBのアーキテクチャは、FAQのページで以下のように説明されています（英語を訳したものを引用しています。以下同じです）。 VoltDBは、シェアドナッシングなサーバ群から構成されるスケーラブ
開発中のMySQL 5.5、デフォルトエンジンはInnoDB、200％の性能向上。「MySQL Conference & Expo」基調講演で紹介
開発中のMySQL 5.5、デフォルトエンジンはInnoDB、200％の性能向上。「MySQL Conference & Expo」基調講演で紹介 オープンソースのデータベースとして人気のある「MySQL」。現在開発中のバージョン5.5で何が変わるのか？ 米国サンタクララで開催中の「MySQL Conference & Expo」基調講演で紹介されました。 MySQL 5.5でのデフォルトストレージエンジンはInnoDBで、性能向上やリカバリタイムの短縮などを実現。可用性とスケーラビリティを提供する「MySQL Cluster 7.1」では、1秒以下のフェイルオーバーや自己修復機能などを備えると行った機能が搭載されるといった強化が行われるとのこと。 日本時間で昨晩、4月13日深夜行われた基調講演の模様を、ストリーミング中継された内容を基に紹介しましょう。 MySQL 5.5は速くなった！
Amazonクラウドに「キャパシティの限界を超えているのでは？」との疑い
Amazonクラウドの性能低下を経験したユーザーが、Amazonクラウドはデータセンターのキャパシティを超えて利用者と契約しているのではないか？ との疑いを投げかけています。 クラウドは一度使い始めると、現在のところ容易にほかへ乗り換えることはできません。そしてそのクラウドがトラブルに見舞われた場合、利用者自身が問題を解決できる余地はほとんどありません。以下で紹介するのは、実際のトラブルはどうあれ、そうしたクラウドに依存せざるを得ない利用者の立場を浮かび上がらせる話です。 インスタンス性能の低下からネットワークの遅延へ 発端は、Alan Williamson氏による1月12日付けのブログのエントリ「Has Amazon EC2 become over subscribed?」。3年前からAmazonクラウドを利用し続けてきたWilliamson氏は、「Amazonクラウドはまさに限界点を超
3D映画「AVATAR」、スクリーンの裏には大規模データとの戦いがあった
3D映画として上映され話題になっている映画「AVATAR」（アバター）ですが、その制作過程では大量のデータ処理との戦いがあったことを海外の複数のメディアが報じています。 毎週のようにテラバイト級のデータが生成 AVATARは、カリフォルニアにあるLightStorm Entertainmentが制作しましたが、そこで3Dカメラの動画から生成される大量のデータは、ニュージーランドにあるWeta Digitalに転送されコンピュータグラフィックスの処理が行われたと、The Registerの記事「The Avatar storage effect」が報じています。 LightStorm Entertainmentが使用していたストレージはアイシロン・システムズのもの。アイシロンはこの件で「Lightstorm Entertainment Uses Isilon IQ to Power Prod
Last.fmがサーバにSSDを導入、分散ファイルシステムもSSD対応にしてスケール向上に成功！
音楽配信サイトのLast.fmは、今年の10月からXbox Liveでも利用できるようになったことを受けてユーザー数が大幅に増加。これに対応するためサーバにSSDを採用したところ、問題なくスケールの向上に成功してしまったことをブログ「Launching Xbox, Part 2 - SSD Streaming」で明らかにしています。 SSDで同時接続数が300から7000に増加 Last.fmはこれまで7200rpmのSATAドライブをバックエンドに利用。ファイルシステムとしてオープンソースの分散ファイルシステムであるMogileFSを採用していました。 オーディオストリーミングの能力は基本的にこのMogileFSの管理下にあるハードディスクのランダムI/O性能に依存しており、現在は1つのハードディスクあたり約300同時接続をサポートしていたとのこと。 しかしXbox LiveがLast.
NoSQLデータベースを40種類以上リストアップ、キーバリュー型にもいろいろある
Webスケールのデータを扱うためにさまざまなデータベースが登場してきている、ということを昨日のエントリ「データベースは目的別に使い分けるべし」で紹介しました。 特にリレーショナルモデルをベースとしない、非SQL系（NoSQL）と呼ばれるさまざまな種類のデータベースが登場してきています。非SQL系のデータベースは以前からオブジェクトデータベースやドキュメントデータベース、階層型データベースなどが存在していましたが、最近注目されているのがキーバリュー型データストアと呼ばれるデータベース。 ブログ「High Scalability」にポストされたエントリ「A Yes for a NoSQL Taxonomy」では、これら非SQL系のデータベースを詳細に9分類し、それぞれの分類に属するデータベースをリストアップしています（基になったのは「NoSQL is a Horseless Carriage」
Facebookが大規模スケーラビリティへの挑戦で学んだこと（後編）～キャッシュが抱えるスケーラビリティの問題とデータセンターにまたがる一貫性
Facebookが大規模スケーラビリティへの挑戦で学んだこと（後編）～キャッシュが抱えるスケーラビリティの問題とデータセンターにまたがる一貫性 全世界で3億人を超える会員を抱え、世界最大のSNSとなったFacebook。同社の技術担当バイスプレジデント Jeff Rothschild氏が、10月8日に米カリフォルニア大学サンディエゴ校で行ったセミナー「High Performance at Massive Scale-Lessons learned at Facebook」の内容を再構成して紹介します。 （この記事は「Facebookが大規模なスケーラビリティへの挑戦で学んだこと（前編）～800億枚の写真データとPHPのスケーラビリティ問題」の続きです） キャッシュがスケーラビリティに大きな役割を果たしている Facebookの主な役割は、ユーザーが簡単に（友人たちの）情報を集めることがで
スタートアップに人気のホスティングサービスはSoftLayer、Amazon、Slicehost
米国でスタートアップのインキュベータとして知られるY Combinator。同社が支援するスタートアップ企業67社が、どのホスティングサービスあるいはクラウドを利用しているのか？ という興味深い資料が公表されていると、Data Center Knowledgeの記事「Where 'Ramen Profitable' Startups Host」が伝えています。 公開されている資料によると、Webサイトのホスティングに関しては67社中14社がSoftLayer、13社がAmazon Web Services、12社がSlicehostを利用しているとのこと。 また、メールのホスティング先としては、42社がグーグルを利用するという結果になっています。 スタートアップ企業は、コストが安くそれでいてサービスが成功したときには容易にスケールできることを想定してホスティング先やクラウドを選ぶもの。日本
クラウドストレージの標準APIがストレージ団体「SNIA」から提案される
「クラウドストレージ」とはクラウドで提供されるストレージサービスのことで、DaaS（Data Storage as a Serivce）と呼ばれることもあります。このクラウドストレージの操作と管理の標準的なAPIを、ストレージ業界の団体「SNIA（Storage Networking Industory Association」を母体とした組織「SNIA Cloud Storage Initiative」が提唱しています。 SNIA Cloud Storage Initiativeは10月12日に発足したばかりで、EMC、ネットアップ、HP、サン・マイクロシステムズ、シマンテックなどが参加。このSNIA Cloud Storage Initiativeが提唱するクラウドストレージのAPIが「Cloud Data Management Interface（CDMI）（PDF）」と呼ばれるもの
Amazonクラウドが大規模分散処理の機能を強化。SQLライクな検索ができるHiveを搭載へ
Amazon Web Services Blog: New Elastic MapReduce Goodies: Apache Hive, Karmasphere Studio for Hadoop, Cloudera's Hadoop Distribution クラウドのサービスを提供するAmazon Web Servicesは10月2日、新機能として「Apache Hive」をサポートするとブログで明らかにしました。 Hiveは、もともとFacebookが開発した、MapReduceによる大規模分散処理のオープンソースフレームワーク「Hadoop」と組み合わせて利用するフロントエンドアプリケーションです。Hive QLというSQLに似た言語でHadoop上のデータを操作できるため、柔軟でアドホックな問い合わせを簡単に実現できるようになり、Hadoopを基盤としたデータウェアハウス的な処
データセンターが「落ちる」ことを想定したグーグルのアーキテクチャ
サーバを安全に運用する施設として構築されるデータセンターですが、グーグルではそのデータセンターですら"落ちる"ことがあると想定してアーキテクチャを構築しています。 米グーグルが今年の5月に行ったイベント「Google I/O」で、同社のGoogle App Engine datastore leadであるRyan Barett氏が行った講演「Transactions Across Datacenters (and Other Weekend Projects)」のビデオがYouTubeで公開されました。 Barett氏は、担当しているGoogle App Engineのデータベースに関してグーグルが「multihoming」（マルチホーミング）と呼ぶ複数のデータセンターを用いた処理を実現している理由として、データセンターが自然災害や停電に見舞われたり、メンテナンスなどによるデータセンターの
FBIが令状によりデータセンターを押収、巻き添えの顧客は大損害
CBS 11 Newsの報道によると、4月2日の午前6時、米国テキサス州のデータセンター企業Core IP Networks LLCはFBIに予告なしに急襲され、全データセンターのシャットダウンを命令されました。その後、機材すべてが令状によって押収。社長宅にも同時に15台のパトカーとSWATチームが急襲したとのことです。 これによって、同社の顧客約50社が電子メールやデータベースへのアクセスを失い、また通信企業も顧客だったため緊急通報電話911が一部つながらなくなるという被害が発生。 FBIは押収した理由について、同社から過去にサービスを購入したことのある企業を調査するため、としているそうです。 同社の社長はこの件についての顧客向けの書簡をGoogle Site上で公開しており、「私もしくはCore IPはいかなる違法な活動にも関与していません」と説明した上で次のように警告しています。 I
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
