サーバレスコンピューティングの基本的な知識を網羅。その定義、歴史、ユースケース、利点と欠点、モデルなどをまとめたホワイトペーパー「CNCF Serverless Whitepaper v1.0」をCNCFが公開
サーバレスコンピューティングの基本的な知識を網羅。その定義、歴史、ユースケース、利点と欠点、モデルなどをまとめたホワイトペーパー「CNCF Serverless Whitepaper v1.0」をCNCFが公開 Kubernetesなどの開発をホストするCloud Native Computing Foundation（CNCF）には、サーバレスコンピューティングを主題に活動する「Serverless Working Group」が設置されています。 そのSeverless Working Groupが、サーバレスコンピューティングに関するホワイトペーパー「CNCF Serverless Whitepaper v1.0」を公開しました。 ホワイトペーパーの冒頭には、次のようにこのドキュメントの内容が説明されています。 This paper describes a new model of
Google App Engine、全データセンターを巻き込む連鎖的障害で能力半減、復旧のためフルリスタート
Google App Engine、全データセンターを巻き込む連鎖的障害で能力半減、復旧のためフルリスタート 「2011年1月にHigh Replication Datastoreを立ち上げて以来、App Engineでこれだけ大規模なシステム障害を経験したことはなかった」。グーグルのGoogle App Engine Blogは10月26日付けのエントリ「About today's App Engine outage」でこう書き、同日発生したApp Engineの障害について報告しました。 この障害は10月26日のおおよそ午前7時半から11時30分までの約4時間、 App Engineのリクエストの約半分が失敗するという大規模なものでした。同社は以下のように経緯を説明しています。 ルータへの負荷が全データセンターへ拡大 4:00 am - Load begins increasing o
Fusion-io、10億IOPSの新技術「Auto Commit Memory」発表。ストレージなんてレベルじゃない、パーシステントなメモリだ
現代のコンピュータにおいて、メモリとストレージはプロセッサと並ぶもっとも基本的な構成要素です。高速なアクセスを担当するのがメモリ、データの永続性を保証するのがストレージです。 Fusion-ioは、ストレージ性能に換算すると10億IOPSという超高性能を実現するAuto Commit Memory（ACM）を発表。ACMとは、永続性を備えた新しいタイプのメモリだと説明しています。 ACM is a new memory type that uses the underlying flash to present a persistent memory directly to applications. ACMはフラッシュを基盤に用いた新しいタイプのメモリであり、アプリケーションに対して永続性を備えたメモリを直接提供する。 Fusion-ioは、PCIeスロットに接続する高速なサーバ内蔵型フ
Amazonクラウド、「東京データセンターも、米パトリオット法の対象内」と説明 － Publickey
「Amazonはアメリカの会社なので東京リージョンもパトリオット法の対象内です」 今月3月2日に、日本国内のデータセンターとして「東京リージョン」の稼働を発表したAmazonクラウド。その東京リージョンは米パトリオット法の対象内であることを、アマゾン ウェブ サービス ジャパンの小島英揮（おじまひでき）氏が、3月4日に行われたJapan AWS User Group（JAWS）主催の「JAWS-UGサミット2011春」で、参加者の質問に答える形で明らかにしました。 パトリオット法によるデータセンターのリスクとは パトリオット法は、米国内外のテロリズムと戦うことを目的とした米国の法律です。2001年に米国で発生した同時多発テロ事件後に、捜査機関の権限を拡大する法律として成立しました。 情報通信の分野についての主な点は、電話回線の傍受に加えてISPにおける通信傍受も可能となり、捜査令状により電
Cassandra入門と、さらに詳しく知るためのリソース集
クラウド時代の新しいデータベースとして、非リレーショナルな構造を持つNoSQLデータベースが話題になっています（NoSQL＝Not Only SQL。命名の経緯はこちら）。そのNoSQLの中で、もっとも注目されているデータベースの1つがApacheのCassandraです。 Cassandraは、Facebookで大規模データ処理のために開発され、その後オープンソースとなり、現在ではApache Software Foundationのプロジェクトとして開発されています。 現在、CassandraはFacebookやDiggなどで使われている、もしくは使うことが検討されているとされ、Twitterでも（ツイートデータの格納には使われないようですが、それ以外の用途で）利用されています。 TwitterとDiggがNoSQLの「Cassandra」を選ぶ理由 Twitterが、Cassandr
米Yahoo!がシステムダウンしない5つの理由
昨年の10月14日、米Yahoo!のトップページがダウンしたと、米Huffington Postが記事「Yahoo DOWN: Yahoo.com Outage Reported」で伝えました。米Yahoo!にとってトップページがダウンすることはきわめてまれなことで、この件が発生するまでほぼ10年にわたりトップページのダウンは起きていなかったと言われています。 その米Yahoo!はシステムダウンを防ぐためにどのような取り組みをしているのか？ 米オライリーが主催したイベント「Velocity 2011」で、Yahoo!サービスエンジニアリング部門のVice President、Jake Loomisが行ったセッション「Why the Yahoo FrontPage Went Down and Why It Didn't Go Down For up to a Decade before Th
HBaseとはどんなNoSQLデータベースなのか？ 日本語で読める情報を集めてみた
Facebookが新しいサービス「Messages」の基盤として、NoSQLデータベースの「HBase」を選択したことを、先日の記事「Facebookが新サービスの基盤にしたのは、MySQLでもCassandraでもなく、HBaseだった」で紹介しました。 HBaseは、Facebookによると次のような特徴を備えていると説明されてます。 負荷に対して非常に高いスケーラビリティと性能を発揮 CassandraよりもシンプルなConsistency Model（一貫性モデル）を備えている 自動ロードバランス、フェイルオーバー、圧縮機能 サーバーごとに数十個のシャードを割り当て可能、などなど このHBaseはどのようなデータベースなのでしょうか？ 情報を集めてみました。 HBase入門のプレゼンテーション 最初に紹介するのは「HBaseエバンジェリスト」Tatsuya Kawano氏のプレゼン
データセンターを進化させるためにeBayが行っていること
ほぼ同じ処理性能を発揮する3つのクラスタ、2.9GHzのCPUを積んだサーバ2000台と、1.6GHzのサーバ3663台、3.46GHzのサーバ1694台。どれが最もトータルコストが安いのか？ eBayのDean Nelson氏は、こうした緻密な試算を積み重ねてデータセンターの構成を決定していることを、スイスで開催された「2011 European Data Centre Summit」のセッションで解説しています。 最新のデータセンターはどのような設計思想の上に成り立っているのか。公開されているセッションのビデオから紹介します。 What have we learnd in our Data Centers eBayのDean Nelson氏。 まずはeBayの基本的なデータを紹介しよう。eBayは1日に2ビリオンページビューのWebサイトで、23ミリオン行のソースコード、1日に75ビリ
グーグルが構築した大規模システムの現実、そしてデザインパターン（4）～デザインパターン編
グーグルが「Evolution and Future Directions of Large-Scale Storage and Computation Systems at Google」（グーグルにおける、大規模ストレージとコンピュテーションの進化と将来の方向性）という講演を、6月に行われたACM（米国計算機学会）主催のクラウドコンピューティングのシンポジウム「ACM Symposium on Cloud Computing 2010」で行っています。 講演の内容を4つの記事（MapReduce編、BigTable編、教訓編、デザインパターン編）で紹介しています。この記事は教訓編の続き、デザインパターン編です。 大規模システムデザインの指針 よりよく使ってもらうためのインフラのデザインと開発方法を考えてみよう。 インフラに対する機能の要望についてさまざまなグループと話すと、多くのリクエ
いきあたりばったりのアーキテクチャと教訓
スライドの作者であるGleicon Moraesは、これらの図を示した上で、リレーショナルデータベースはガムテープのようにつぎはぎで使えるような万能薬ではない。シャーディングや非正規化などは検討すべきよい選択肢であり、またリレーショナル以外のデータベースも選択肢としていれるとよいだろうと説いています。 そして次のような「リレーショナルデータベースの間違った使い方10項目」を示しているのです（訳は前述の記事「データベースの間違った使い方10項目」から）。 Dynamic table creation（動的なテーブルの作成） Table as cache（テーブルをキャッシュとして使う） Table as queue（テーブルをキューとして使う） Table as log file（テーブルをログとして使う） Distributed Global Locking（分散したグローバルなロック）
Amazonクラウドの大規模障害を経て、これからは「データセンターはいつか落ちる」ことがサービス設計の前提となる
4月21日に発生したAmazonクラウドの米国東海岸データセンターで起こった大規模障害により、Foursquare、Quora、Herokuなど多くのサービスに影響がありました。 すでに障害は復旧し、Amazonクラウドの運営チームからは詳細な報告と今後の対応策について記したドキュメント「Summary of the Amazon EC2 and Amazon RDS Service Disruption in the US East Region」が公開されています。公式な日本語訳「 米国東リージョンにおける Amazon EC2 と Amazon RDS のサービス障害 の概要 (参考和訳）」（pdf）も公開されました。 これによると、障害はネットワークの構成を間違えたことをきっかけにして、ストレージサービスの「Amazon Elastic Block Store（EBS）」やデータベ
グーグル、データセンターにおけるセキュリティ対策やデータ保護策を公開
グーグルは、同社のデータセンターでセキュリティ対策やデータ保護がどのように行われているのかを紹介するビデオを公開しました。 Official Google Enterprise Blog: Security First: Security and data protection in Google data centers このビデオはOfficial Google Enterprise Blogにポストされたエントリ「Security First: Security and data protection in Google data centers」で紹介されました。「多くの人がグーグルでデータがどのように守られているのか興味を持ち、データセンターへの訪問を希望しているが、全員を招待することはできないのでこのビデオを作成した」と、ビデオの目的が語られています。 ビデオはおもにGoogl
リレーショナルデータベースはNoSQLを取り込み始めた。NewSQLの登場とNoSQLの終わり、という予想
リレーショナルデータベースはNoSQLを取り込み始めた。NewSQLの登場とNoSQLの終わり、という予想 MySQLの次期バージョンとPostgreSQLの次期バージョンにどのような新機能が追加されるのか、昨日、一昨日の2本の記事で紹介しました。 MySQLの次期バージョンはMemcached APIを備える！ MySQL Conference & Expo 2011基調講演 PostgreSQLの現状と次期バージョン9.1の新機能。MySQL Conference & Expo 2011 この2つのデータベースの次期バージョンに共通しているのが、NoSQLの機能を取り込んでいることです。NoSQLに対するリレーショナルデータベースによる反撃が始まっています。 リレーショナルデータベースがNoSQLを取り込み始めた MySQLの次期バージョンであるMySQL 5.6に搭載予定の新機能の1
DeNAによる大規模なMySQLノンストップ運用の裏側にある、フェイルオーバー自動化ツール
4月11日から米サンタクララで行われた「MySQL Conference & Expo 2011」。このイベントでDeNAの松信嘉範（まつのぶよしのり）氏が、同社の大規模なMySQLの運用を支えている技術とツールについてのセッション「Automated, Non-Stop MySQL Operations and Failover」を行いました。 プレゼンテーションの中で、社内で利用しているフェイルオーバーの自動化ツールをオープンソース化することにも触れています（英語のドキュメントも作成中とのこと）。 MySQLの大規模運用における自動フェイルオーバーは、特にクラウドでのMySQLの利用が増えるにつれてニーズが高まる分野と思われます。セッションのスライドが公開されていますので、そのポイントを紹介していきます。 自動化されたノンストップなMySQLの運用 ソーシャルゲームでは高可用性が強く求
災害にあったITシステムを操作しなければならない人が知るべきこと
東北地方太平洋沖地震が金曜日に発生し、被災された皆様には心よりお見舞い申し上げます。 そんな中でも、この月曜日から多くのIT関係者が被災したかもしれないITシステムの復旧に取りかかるのではないかと思います。そうした方々に役に立つ記事を届けられないだろうかと、ユニアデックスの高橋優亮氏に相談したところ、大いなるご賛同をいただき有志の方々とノウハウをまとめたこの文書「災害にあったITシステムを操作しなければならない人が知るべきこと v0.2」を作り上げていただきました。 本文書の主眼は被災したITシステムを復旧させようとする方々に向けた情報提供ですが、システムに電源を入れる前の注意事項、電源投入順序の考え方などの説明は、これから関東地方で計画されている停電が起きたあとのシステム再起動の際などにも参考になると思います。 本文書はどなたにでも活用していただけるようにGNU Free Documen
NoSQLをRDBの代わりに使うと、どういう恐ろしいことが起こるか。PARTAKEの作者が語る
データベースの世界でいま注目されているのがNoSQL。特にキーバリュー型データストアは、グーグルのBigTable、FacebookやTwitterが内部で利用しているCassandraやAmazonクラウドが提供しているSimpleDBなど、すでに実際に使われ始めています。 ではそのNoSQLをリレーショナルデータベースの代わりに使ってシステムを構築するとどうなるのか？ 身をもって体験したことを記したShinya Kawanaka氏によるプレゼンテーション「間違った方向にCassandraを使ってみた」が公開されています。 NoSQLを用いたシステム構築は、リレーショナルデータベースによる構築どう違うのか？ とても分かりやすくまとめられています。ご本人の承諾もいただいたので、その内容を紹介しましょう。 NoSQLを使ったときに起こる恐ろしい事例 プレゼンテーションのテーマは「NoSQLを
Facebookが新サービスの基盤にしたのは、MySQLでもCassandraでもなく、HBaseだった
Facebookが15日に発表した新しいサービス「Facebook Messages」は、チャットやつぶやき、そして電子メールなど、自分宛のテキストやメッセージをすべて1つのインボックスで管理できると発表されました。 同社が15カ月かけて開発してきたこの新サービスのバックエンドデータベースは、これまで同社が大規模運用してきたMySQLでも、同社が開発したNoSQLデータベースのCassandraでもなく、グーグルのBigTableをモデルとしてオープンソースで開発された分散データベース「HBase」でした。 Facebookのソフトウェアエンジニア、Kannan Muthukkaruppan氏がFacebookにポストした記事「The Underlying Technology of Messages」で、その技術的背景が紹介されています。 MySQLとCassandraが落選した理由 H
グーグルが構築した大規模システムの現実、そしてデザインパターン（1）～MapReduce編
グーグルが「Evolution and Future Directions of Large-Scale Storage and Computation Systems at Google」（グーグルにおける、大規模ストレージとコンピュテーションの進化と将来の方向性）という講演を、6月に行われたACM（米国計算機学会）主催のクラウドコンピューティングのシンポジウム「ACM Symposium on Cloud Computing 2010」で行っています。 グーグルはどのようにして大規模分散システムを構築してきたのか、そして、そこからどのようなことを学んだのかが語られていますし、後半では大規模分散システムのデザインパターンという、非常に興味深いノウハウも公開している、非常に情報量の多い講演です。 その講演の内容を、全部で4つの記事、MapReduce編、BigTable編、教訓編、デザイン
セールスフォースのアーキテクチャ（物理アーキテクチャ編）～ Podによるスケールアウト
米国の計算機学会として知られるACMが主催したクラウドコンピューティングのシンポジウム「ACM Symposium on Cloud Computing 2010」（ACM SOCC 2010）が6月10日、11日にインディアナ州インディアナポリスで開催されました。 基調講演には、グーグル、Facebook、セールスフォース・ドットコムというクラウド業界のトップベンダーが登場し、それぞれのクラウドについて語るという内容でした。ここではその基調講演から、セールスフォース・ドットコムのRob Woollen氏による同社クラウドのアーキテクチャの解説を紹介します。おそらくこれまででもっとも詳しく、同社のクラウドアーキテクチャを解説したものになっています。 セールスフォースのマルチテナントアーキテクチャとは Rob Woollen氏。講演タイトルは「Inside Cloud:Salesforce.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Twitterにおける大規模システム構築、3つの原則