cloudata.org - Domain Name For Sale | Dan.com
Buyer Protection Program When you buy a domain name at Dan.com, you’re automatically covered by our unique Buyer Protection Program. Read more about how we keep you safe on our Trust and Security page. Next to our secure domain ownership transfer process, we strictly monitor all transactions. If anything looks weird, we take immediate action. And if the seller doesn't deliver on their part of the
グーグルが構築した大規模システムの現実、そしてデザインパターン（2）～BigTable編
グーグルが「Evolution and Future Directions of Large-Scale Storage and Computation Systems at Google」（グーグルにおける、大規模ストレージとコンピュテーションの進化と将来の方向性）という講演を、6月に行われたACM（米国計算機学会）主催のクラウドコンピューティングのシンポジウム「ACM Symposium on Cloud Computing 2010」で行っています。 講演の内容を4つの記事（MapReduce編、BigTable編、教訓編、デザインパターン編）で紹介しています。この記事はMapReduce編の続き、BigTable編です。 分散処理に対応するBigTable 次はBigTableの説明に移ろう。BigTableは、大規模分散の半構造化データストアシステムだ。 グーグルでは多くの構造的
Summary of "Google's Big Table" at nosql summer reading in Tokyo
1. Bigtable: A Distributed Storage System for Structured DataChang, et al., 2006.Gemini Mobile Technologies, Inc.NOSQL Tokyo Reading Group(http://nosqlsummer.org/city/tokyo)July 22, 20102010/7/23Gemini Mobile Technologies, Inc.1 2. Bigtable: A Distributed Storage System for Structured DataAuthors: Fay Chang, Jeffrey Dean, Sanjay Ghemawat, Wilson C. Hsieh, Deborah A. Wallach, Mike Burrows, Tushar C
たけまる / Google App Engine のデータストアは Bigtable をどのように使っているのか
_ Google App Engine のデータストアは Bigtable をどのように使っているのか [gae][bigtable] Google App Engine (GAE) が発表されてから2週間ほど経ちます．GFS や Bigtable という名前だけはよく耳にするようになりましたが，Bigtable と GAE のギャップについては話題になっていないように思います． Bigtable は multi dimensional sorted table と言われるように， primary key (row key) でソートされたテーブルでしかありません．つま り，GAE のデータストアが提供するような多様な検索機能は持たないわけ です．というわけで，GAE のデータストアを実現するために，Bigtable がどのように使われているのかを考えてみました． # この件について，もし
Google Megastoreのお勉強メモ #appengine - スティルハウスの書庫の書庫
BrettさんのSTMに関する記事の中でGoogle Megastoreについて言及されていて、そのリンク先がハミルトン先生の2008年7月の記事（内で紹介されていたPhil Bernsteinさんのメモ）でした。つまりどうやらMegastoreに関する公開情報でGooglerのお墨付きなものはこれしかなさそうです。そこで改めて要点を写経しつつ、App Engineレベルから見た疑問点等をまとめてみました。なお、青色部分は私の訳注および感想です。同じ記事について解説したkuenishiさんの記事もありますので、合わせてご参照ください。 ところでここでは「BigTable」表記です。BigtableのTが大文字か小文字かについてguidoは「う〜ん論文ではtだったから小文字じゃないかな〜」と言ってました。つまりGoogle社内でも統一されてません。 Google Megastore What
Bigtable
The document summarizes Google's Bigtable storage system, which provides a structured storage layer for large distributed data sets. Bigtable stores data as a sparse, distributed, multidimensional sorted map. It is built using the Google File System for storage, Chubby for locking, and provides a simple "get/put/delete" interface for accessing rows and columns. Bigtable tables are sharded into tab
BigTableの論文読み - それなりにマジメなメモ
簡単なメモです。 BigTable 大量のデータを扱うためのstorage system。 ・フリーのものを使うのでなければコストが高い。 ・行ごとのアクセスすることによって高速にアクセス ・スケールアウトしやすい Data model Row keyは任意のstring 例ではURLの逆を使っている<-こうすることで同じようなURLが近くなっている Row key でsortされている Column Keyはfamily:qualifier Familyでカテゴリ分け 何で複数のcolumnを束ねているのか >全部を一緒にしてしまうと大きくなりすぎてキャッシュが効かなくなる。ある程度分割することでローカリティーをあげてキャッシュが効くようにするため Timestampは書き込んだ時間 時間をkeyとして過去のデータを保存する こうすることで過去のデータにもアクセスしやすくする。 分散処理
Bigtable論文を読んだメモ - スティルハウスの書庫の書庫
Bigtable: A Distributed Storage System for Structured Data をざっと読んだ感想： Bigtableは単なるソートされたkey-valueペアだ Multidimensionalという言葉に惑わされない方がよい レコードをイミュータブルにして履歴を残し、たまにGCするのはpgsqlやInterBaseなどのバージョニング系DBと同じ row keyとcolumn keyを組み合わせて1つのキーをつくり、2次元の表のように使っているが、実態は単なる超巨大なkey-valueペア column familyとかlocality groupも、とりあえず忘れてOK アクセス権チェックとか、でかいBlobだけ遅延読み込みするとか、そういうやつだ Bigtableはこれしかできない keyを指定して特定行をatomicにCRUDする 分散txは
Google Research Publication: Bigtable: A Distributed Storage System for Structured Data
Bigtable: A Distributed Storage System for Structured Data Fay Chang, Jeffrey Dean, Sanjay Ghemawat, Wilson C. Hsieh, Deborah A. Wallach, Mike Burrows, Tushar Chandra, Andrew Fikes, and Robert E. Gruber Abstract Bigtable is a distributed storage system for managing structured data that is designed to scale to a very large size: petabytes of data across thousands of commodity servers. Many projec
ここが大変だよBigtableとGoogle App Engine
ここが大変だよBigtableとGoogle App Engine：分散Key-Valueストアの本命「Bigtable」（3）（1/2 ページ） RDBとは別の、クラウド時代のデータベースとして注目を浴びている「分散Key-Valueストア」。その本命ともいえる、Googleの数々のサービスの基盤技術「Bigtable」について徹底解説 月間3000万PVの大規模サイトの運用費が月額4万円!? 月間3000万PV相当の膨大なトラフィックを楽々とさばく大規模サイトが、月額4万円弱で運用されている。 Google App Engine（以下、App Engine）が普及するにつれて、そんな驚愕の国内事例も登場しつつあります。GClueがApp Engine上で実装したmixiアプリモバイルモバイルには、1日100万PV以上のアクセスが集中している状態でもサービスのレスポンス低下やダウンは皆無
Bigtableと分散KVS - スティルハウスの書庫の書庫
首藤さんがUNIX managineに「key-valueストアという名前には、キーと値のペア（key-value pair）を格納するデータ格納ソフトウェアというくらいの意味しかない」と書かれていたように、KVSにはRDBのようなベースとなるデータモデルとか定義があるわけじゃありません。むしろRDBへのアンチテーゼとして登場している様々な非リレーショナルなデータストアを象徴するキーワードとして使われるケースが多いと思います（そういった意味でNoSQLっていう表現は的を射てますね）。 なので「Bigtableが分散KVSなのかどうか」という問いは、KVSの定義が曖昧な以上あまり意味のある問いではありませんが、しかし様々なKVS実装とBigtableは何が違うのかを知るきっかけとして気になりました。 古橋さんの分散KVSの使い方より： ここで言うところの分散KVSには、BigTableやCa
App Engineのユニーク制限を正しく理解しよう - ひがやすを技術ブログ
Google App EngineではRDBMSのようなUnique Indexをサポートしていません。ユニーク制限を実現する場合は、トランザクション中でKeyを使ったgetとputを組み合わせる必要があります。 ここでは、email addressがユニークだったらそれを確定してtrueを返し、そうでない場合にはfalseを返すコードを考えます。 最初にトランザクションを使わないコードを見てみましょう。KeyFactory.createKeyの最初に引数は、kindといってテーブル名みたいなものです。 public boolean putUniqueEmailAddress(String value) { DatastoreService ds = DatastoreServiceFactory.getDatastoreService(); Key key = KeyFactory.cr
グーグルが取り組む次世代Bigtable、全世界規模でサーバ1000万台を自動化して構築する「Spanner」プロジェクト － Publickey
グーグルが取り組む次世代Bigtable、全世界規模でサーバ1000万台を自動化して構築する「Spanner」プロジェクト 米国の計算機学会であるACM（Association for Computing Machinery）が開催した、大規模分散システムのワークショップ「LADIS 2009（Large Scale Distributed Systems and Middleware）」の2日目、10月11日のキーノートスピーチで、グーグルが現在取り組んでいる「Spanner」プロジェクトの中味が明らかになりました。 キーノートスピーチを行ったのは、グーグルのSystems Infrastructure Groupに所属するフェローのJeff Dean氏。同氏は、現在グーグルが「Spanner」というプロジェクトに取り組んでおり、それは「Storage & computation sys
グーグルのBigtableが耐障害性を強化、Megastoreレプリケーションで
グーグルがGoogle App EngineやGoogle Appsのデータベースなどのデータベースとして利用しているのが、「Bigtable」と呼ばれるキーバリュー型ストアです。 グーグルは以前からこのBigtableを複数のデータセンターにまたがって運用し、万が一障害が発生したとしてもデータを失うことがないように、データセンター間のバックアップなどを行ってきました。 しかし、先月の記事「データセンターが「落ちる」ことを想定したグーグルのアーキテクチャ」で紹介したように、グーグルといえどもこうしたデータセンターにまたがるデータベースを安全に運用する方法については試行錯誤しており、7月には6時間にわたり大規模なデータベースの障害を引き起こしていたことは、「Google App Engineにデータストアの障害発生。復帰まで約6時間、原因は現在も不明」で紹介しました（この件については後日、原
素朴なBigtable、できること できないこと
素朴なBigtable、できること できないこと：分散Key-Valueストアの本命「Bigtable」（2）（1/2 ページ） RDBとは別の、クラウド時代のデータベースとして注目を浴びている「分散Key-Valueストア」。その本命ともいえる、Googleの数々のサービスの基盤技術「Bigtable」について徹底解説 あまりにもRDBとは異質な「Bigtable」 前回の「もう1つの、DBのかたち、分散Key-Valueストアとは」では、連載第1回目として、クラウドコンピューティングにおける新しい潮流である「リレーショナルデータベース（RDB）から分散Key-Valueストア（分散KVS）への移行」が、どのようなパラダイムシフトをもたらすのかを解説しました。今回からは、グーグルが運用する代表的な分散KVS「Bigtable」の内部構造を紹介し、クラウドの本質をより深く掘り下げます。 前
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Introduction to the DataStore - Guru Meditation
Bigtable: A Distributed Storage System for Structured Data
google Bigtable