タグ

2009年11月4日のブックマーク (2件)

  • Hadoopの最新動向を「Hadoop World:NY 2009」の資料から(後編)

    Hadoopは、グーグルが大規模分散システムのために用いているMapReduceという技術を、オープンソースとして実現するために開発されたJavaベースのソフトウェア。クラウド対応のアプリケーションであり、数テラバイトにもおよぶ大容量のデータを高速かつ低コストに分析する方法として注目を集めています。 後編では、10月2日にニューヨークで開催された「Hadoop World:NY 2009」の午後のセッションの資料に目を通し、興味深いポイントを紹介しましょう。午後は3トラックに分かれ30ものセッションが行われていました。 この記事は「Hadoopの最新動向を「Hadoop World:NY 2009」の資料から(前編)」の続きです。 午後のセッション資料からハイライトを紹介 イェール大学のAzza Abouzeid氏とKamil Bajda-Pawlikowski氏は、Hadoopとパラレル

    Hadoopの最新動向を「Hadoop World:NY 2009」の資料から(後編)
    kiszk
    kiszk 2009/11/04
  • Hadoopの最新動向を「Hadoop World:NY 2009」の資料から(前編)

    Hadoopは、グーグルが大規模分散システムのために用いているMapReduceという技術を、オープンソースとして実現するために開発されたJavaベースのソフトウェアです。開発が始まったのは2005年頃で、当時Yahoo!に所属し現在はClouderaに所属するDoug Cutting氏が中心となって進めてきました。 Hadoopが実現するMapReduce処理とは、簡単にいえば大量のデータを小さく分割して多数のノードに割り当て(Map処理)、各ノードで処理を行ったらそれを集約して結果を出す(Reduce処理)、という分散処理の方法です。数テラバイトにもおよぶ大容量のデータを高速かつ低コストに分散処理する方法として注目を集めています。 ニューヨークでHadoop Worldが開催される そのHadoopのカンファレンス「Hadoop World:NY 2009」が10月2日にニューヨークで

    Hadoopの最新動向を「Hadoop World:NY 2009」の資料から(前編)
    kiszk
    kiszk 2009/11/04