MapReduce代替の「Apache Spark 1.0」が登場 | OSDN Magazine

非営利団体のApache Software Foundation（ASF）は5月30日、大規模なデータ処理を行うための分析ソフトウェア「Apache Spark 1.0」のリリースを発表した。「Apache Hadoop」のMapReduceを置き換えることを目指すもので、多くの変更点が加えられている。 Apache Sparkは米カリフォルニア大学バークレー校のAMPLabで開発された分散コンピューティングフレームワーク。高度なDAG（Directed Acyclic Graph）実行エンジンを持ち、より小さい粒度での処理を行うのが特徴。バッチモードで処理を行うMapReduceと比べるとインメモリ利用時に最大100倍の高速化が可能で、かつより高い安定性もあるという。HDFS、HBase、Cassandraに対応し、スタンドアロンのほか「Apache Mesos」、Amazon AWS（

[tmatsuu]

日本語記事きてたのね

[Marin_MTB]

ついていけねぇ…。orz

[decoy2004]

『DAG実行エンジンを持ち、 より小さい粒度での処理を行うのが特徴。バッチモードで処理を行うMapReduceと比べるとインメモリ利用時に最大100倍の高速化が可能で、かつより高い安定性もある』

[suu-g]

DAG(Directed Acyclic Graph)

[ohtaman]

もうすぐ、もうすぐ、と言っていたけど、遂に出たみたい。ver. 1.0

[s025236]

Flex Sparkと情報が混ざりそうな予感。どっちもapacheのTLPだし…

[worldwideyrp]

メモ。本当にHadoopの上位になり得る可能性があるんだったら、今のうちにキャッチアップしときたい。 / 追記。「MapReduceの上位」が正しいですね。訂正します。

[doublehorn93]

MapReduce代替の「Apache Spark 1.0」が登場