[B! data][google] hirose31のブックマーク

hirose31 id:hirose31

dataとgoogleに関するhirose31のブックマーク (2)

Google Reveals New MapReduce Stats - High Scalability -
The Google Operating System blog has an interesting post on Google's scale based on an updated version of Google's paper about MapReduce. The input data for some of the MapReduce jobs run in September 2007 was 403,152 TB (terabytes), the average number of machines allocated for a MapReduce job was 394, while the average completion time was 6 minutes and a half. The paper mentions that Google's ind
hirose31 2008/01/17
>MapReduce jobs run in September 2007 was 403,152 TB／>Google's indexing system processes more than 20 TB of raw data.

google

data
リンク
Googleの一日に処理するデータ量は20ペタバイト以上
Googleフェローの発表資料によると、2007年9月時点でGoogleは1日に20ペタバイト（20,000テラバイト＝20,000,000ギガバイト）以上のデータを大規模なコンピュータ群で処理しているようです。それにしても想像するのが難しいほどのデータ量ですね。詳細は、以下から。 2004年8月、2006年3月、2007年9月の処理数やデータ比較。ジョブ数（Number of jobs）やマシン数（Machine years used）はかなり増え、処理時間は逆に少なくなっているのが良くわかりますね。また、データ量は飛躍的に増加しています。また、Googleで使用しているマシンのスペックは「2GHz Intel Xeon processors with Hyper-Threading enabled」×2、4GBのメモリ、「160GB IDEハードディスクドライブ」×2、ギガビットイ
hirose31 2008/01/11
>また、Googleで使用しているマシンのスペックは「2GHz Intel Xeon processors with Hyper-Threading enabled」×2、4GBのメモリ、「160GB IDEハードディスクドライブ」×2、ギガビットイーサネット。このタイプの一台あたりのマシンコストは2400

google

data
リンク
1