非営利団体のApache Software Foundation(ASF)は5月30日、大規模なデータ処理を行うための分析ソフトウェア「Apache Spark 1.0」のリリースを発表した。「Apache Hadoop」のMapReduceを置き換えることを目指すもので、多くの変更点が加えられている。 Apache Sparkは米カリフォルニア大学バークレー校のAMPLabで開発された分散コンピューティングフレームワーク。高度なDAG(Directed Acyclic Graph)実行エンジンを持ち、より小さい粒度での処理を行うのが特徴。バッチモードで処理を行うMapReduceと比べるとインメモリ利用時に最大100倍の高速化が可能で、かつより高い安定性もあるという。HDFS、HBase、Cassandraに対応し、スタンドアロンのほか「Apache Mesos」、Amazon AWS(
![MapReduce代替の「Apache Spark 1.0」が登場 | OSDN Magazine](https://cdn-ak-scissors.b.st-hatena.com/image/square/4196864a37518a8c4219cc80d90c0a0b1a82a491/height=288;version=1;width=512/https%3A%2F%2Fmag.osdn.jp%2Fimages%2Fmag%2Fmagazine-200x200.png)