タグ

mapreduceとSSTableに関するyassのブックマーク (2)

  • Google の大規模データ処理: Days on the Moon

    Google の鵜飼文敏さんによる講演会「大規模データ処理を可能にする Google技術」に行ってきました。内容的には筑波大学で開かれたものと同じではないかと思います (「新ビジネスモデル」がそのままだったことなどから)。以下、上記記事に載っていないことを中心にメモから抜書きを。 此頃 Google にはやる物 現在 Google では Google の使命 (Google's mission is to organize the world's information and make it universally accessible and useful...) の早打ちが流行中。鵜飼さんは 50 秒程度、一番速い人は 30 秒程度。 Google の扱う情報 Google のいう「情報」はインターネット上のものだけに限らない (例: Google ブック検索)。 データセンター

    yass
    yass 2013/09/29
    " データの分析は単純なもの (合計、最大値、最小値、上位 k 個、フィルタリングなど) がほとんどで、DBMS の高度な機能は必要ない。 これらの分析処理は可換的、結合的なため処理順は任意 / Bigtable / 毎秒 100 万 Read/Write "
  • Peregrine - Home

    Peregrine’s real-time decision and operations management platform empowers public safety agencies with the data they need to solve their hardest problems and do their best work.

    Peregrine - Home
    yass
    yass 2013/09/21
    " Peregrine is a map reduce framework designed for running iterative jobs across partitions of data. Peregrine is designed to be FAST for executing map reduce jobs by supporting a number of optimizations and features not present in other map reduce frameworks. "
  • 1