『Google を支える技術』は大規模分散システムのガイドブックである - Muranaga's View
大規模分散システムについて、よい本が出た。『Google を支える技術 巨大システムの内側の世界』である。梅田望夫氏が『ウェブ進化論』（64ページ）にて「情報発電所」と称した「超大規模」分散システムの構築と、その上で動くシステムソフトウェアの設計・実装について、Google（グーグル）のシステム関連の主要論文を解説する形で、手際よくまとめられている。実用に供されている大規模分散システムを知るためにも、インターネットや計算機科学に関わる技術者であれば（いや、たとえ技術者でなくとも）、一度は目を通すべき本。 章立てと概要・原論文は以下の通り： 第１章 Google の誕生 初期の Google の検索エンジンの設計・実装について。検索エンジンの仕組みの解説。→原論文 第２章 Google の大規模化 検索エンジンの大規模化・クラスタ化。ソフトウェアによって信頼性を高め、コストの安いハードウェア
Jeff Dean: Design Lessons and Advice from Building Large Scale Distributed Systems – Perspectives
Disclaimer: The opinions expressed here are my own and do not necessarily represent those of current or past employers. Recent CommentsMatt on Seagate HAMRJames Hamilton on Seagate HAMRMatt on Seagate HAMRJames Hamilton on Cost of Power in Large-Scale Data CentersChris K. on Cost of Power in Large-Scale Data CentersJames Hamilton on Cost of Power in Large-Scale Data CentersRob F on Cost of Power i
データセンターが「落ちる」ことを想定したグーグルのアーキテクチャ
サーバを安全に運用する施設として構築されるデータセンターですが、グーグルではそのデータセンターですら"落ちる"ことがあると想定してアーキテクチャを構築しています。 米グーグルが今年の5月に行ったイベント「Google I/O」で、同社のGoogle App Engine datastore leadであるRyan Barett氏が行った講演「Transactions Across Datacenters (and Other Weekend Projects)」のビデオがYouTubeで公開されました。 Barett氏は、担当しているGoogle App Engineのデータベースに関してグーグルが「multihoming」（マルチホーミング）と呼ぶ複数のデータセンターを用いた処理を実現している理由として、データセンターが自然災害や停電に見舞われたり、メンテナンスなどによるデータセンターの
Building Scalable, Complex Apps on App Engineを見たメモ - スティルハウスの書庫の書庫
Building Scalable, Complex Apps on App Engine List properties 01:40 List propertyとは何か？ 複数の値を持てるプロパティ 順序付きリスト LPのメリット one-to-many関係にあるデータをコンパクトに扱える tupleやlistのようなデータを簡単に保存できる 子entityを扱う必要がない。entityより軽い。 ただしcomposite indexで使う場合はindex explosionに注意 サイズが1000のLPを2つ使ってcomposite indexを作ると100万件のindexエントリができあがる Microbloggingの例 たくさんのエントリを多数のユーザーに配布する必要があり、スケーラビリティが要求される データ自体はコピーせず、fan-outさせる方が効率的 RDB的実装：Use
Google Research Publications
Interpreting the Data: Parallel Analysis with Sawzall Rob Pike, Sean Dorward, Robert Griesemer, Sean Quinlan Abstract Very large data sets often have a flat but regular structure and span multiple disks and machines. Examples include telephone call records, network logs, and web document repositories. These large data sets are not amenable to study using traditional database techniques, if only
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
