タグ

ブックマーク / pekeq.hatenablog.com (1)

  • グーグル技術講演会 - pekeqのブログ

    日行われた「グーグル技術講演会」に行ってきた。MapReduceやSawzallの話は、Googleが公開しているpaper以上の内容ではなかった感じ。それ以外で記憶に残ったのはこんなところでした。 ノード 何千台の2CPU 2-4GBmem x86 PC GbE ローカルIDE HDD(あんまりローカルF/Sにはアクセスしない) インフラ MapReduce Sawzall Protocol Buffer (Sawzall論文のPDF5ページ目 後半) GFS Work Queue BigTable MapReduceを利用して、保管されているWebページ全体に対してとあるクエリーを投げ、終わるまでに半日かからない Googleエンジニアは、社内で利用しているソフトウェアのソースコードに自由にアクセスできる 一方で、データは扱えるレベルがあって、たとえば(アクセスログに記録された)I

    グーグル技術講演会 - pekeqのブログ
    fakufaku
    fakufaku 2006/12/30
    Google 基幹技術を紹介する論文へのリンクが貼ってあるので便利。
  • 1