タグ

Hadoopとsparkに関するMarin_MTBのブックマーク (1)

  • MapReduce代替の「Apache Spark 1.0」が登場 | OSDN Magazine

    非営利団体のApache Software Foundation(ASF)は5月30日、大規模なデータ処理を行うための分析ソフトウェア「Apache Spark 1.0」のリリースを発表した。「Apache Hadoop」のMapReduceを置き換えることを目指すもので、多くの変更点が加えられている。 Apache Sparkは米カリフォルニア大学バークレー校のAMPLabで開発された分散コンピューティングフレームワーク。高度なDAG(Directed Acyclic Graph)実行エンジンを持ち、より小さい粒度での処理を行うのが特徴。バッチモードで処理を行うMapReduceと比べるとインメモリ利用時に最大100倍の高速化が可能で、かつより高い安定性もあるという。HDFS、HBase、Cassandraに対応し、スタンドアロンのほか「Apache Mesos」、Amazon AWS

    MapReduce代替の「Apache Spark 1.0」が登場 | OSDN Magazine
    Marin_MTB
    Marin_MTB 2014/06/05
    ついていけねぇ…。orz
  • 1