画像配信の負荷分散も比較的簡単？（その4） - 最速配信研究会(@yamaz)

http://d.hatena.ne.jp/yamaz/20060509の続き. 初めての方は画像配信の負荷分散も比較的簡単？（その1）からどうぞ. Googleはimages.google.com 1つで1,187,630,000(11.8億!)の画像を保持している(ように見える).1つの画像が10KBだったとしても12.5TBの画像を保持していることになる. GoogleがこんなことができてるのはGoogleFileSystemがあるからだ. http://labs.google.com/papers/gfs.html GoogleFileSystemは簡単に言うとデータバックアップ機能つきの分散NFSのようなものだ. GoogleFileSystemに関しては上記URLのPDFに詳しいので,そちらを参照してほしいが,基本的な考え方は今まで負荷分散の考え方となんら変ることはない.つまり

[webmarksjp]

google

[takuno]

GoogleがこんなことができてるのはGoogleFileSystemがあるからだ.

[kasedac]

GFS(Google File System)の事例と、バックエンド＋フロントエンドサーバによる同様の分散ファイル管理の手法

[usj12262]

ハブは文字列のハッシュ値で問い合わせ先サーバーを分散、問い合わせを受けるサーバーはキャッシュ用で、全体のデータのうちよく使われる２割だけをキャッシュ、必要メモリも２割。本当のデータはそのうしろ

[silver_arrow]

最後はGoogleはGFS使ってるから、もまいらもGFSとかつかってなんとかしるっていう話。

[kdaiba]

単純作業に分けろ，と

[horixx]

google 負荷分散