google_巨大な検索システムを耐障害性の高いソフトと安価なマシンで実現
情報処理学会は、16日から17日にかけて東京・港区の機械振興会館でコンピュータ関連のシンポジウム「第16回コンピュータシステム・シンポジウム」（ComSys2004）を開催している。初日の16日には米Googleの技術部門におけるディレクターで、社員番号1番という創業メンバーの1人、Craig Silverstein氏を招待。「Googleとそのシステム」と題して招待講演が行なわれた。 ● チープなマシンで分散型のシステムを構成。障害はソフトウェアで乗り切る Silverstein氏はまず、「Googleのミッションについては、世界中の情報を体系付けること。そしてその情報をいつでもどこでもアクセス可能で、役に立つものにすることだ」とコメント。Googleでは検索対象ページをこれまでの約40数億ページから、約2倍となる約80億ページに拡充したばかり。容量は1ページあたり平均10KB、合計で1
Google File System(GFS)技術メモ — ありえるえりあ
* 参照した論文 + http://labs.google.com/papers/gfs-sosp2003.pdf * 特徴 + 安いPC(OSはGNU/Linux)で分散ファイルシステムを構築しています(*注1)。 + PCは壊れるという前提で設計しています(*注2)。このため、分散システムを構成するノードが壊れた時、データが失われないことと、自動で復旧できることに主眼を置いています。 + ファイルシステムを利用する側(アプリ)に、ある程度の想定を求めています。任意の利用ケースに対してそこそこのパフォーマンスを出す(=平均的に良い性能)のではなく、特定の利用ケースで性能を発揮できるように設計しています。 + 性能を発揮できる利用ケースは次のようなケースです。 ++ 主にサイズの大きいファイルを扱う(*注3)。 ++ ファイルへの書き込みは追記(append)が多い(ファイルの一部分を何度
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
