Hadoop超える機械学習向きのビッグデータ処理基盤、Spark 1.0が正式公開

米Apache Software Foundationは、ビッグデータ処理を分散クラスター上で高速に実行できる処理基盤「Spark 1.0」を2014年5月30日（米国時間）に公開した。 HDFSを介してストレージ経由のやり取りが多くなるHadoopと比べて、インメモリー処理を主体とするSparkでは、より高速で低遅延の分析が可能となる。次世代のビッグデータ処理基盤として期待が集まっているフレームワークである。 SparkではHadoopと同じく、処理対象となるビッグデータをHDFSから読み取ることができるが、以後の処理は基本的にインメモリーで行う。このため、機械学習やグラフ計算のように繰り返し型の計算が多い処理を、Hadoopよりも高速に実行できる（関連記事：NECがビッグデータの機械学習を高速化する技術を開発、インメモリー処理やMPIを導入）。 Sparkは、もともと米Universi

[mather314]

気になる

[modal_soul]

“Spark自体はScalaで実装されているが、Sparkを利用する場合はScalaだけでなく、JavaやPythonなどからも利用できる。” Sparkをやる為にScalaをやる、それでいいじゃあないか？

[gugego]

via ITpro総合 http://itpro.nikkeibp.co.jp/

[kmizushima]

Spark! Spark! #scalajp #scala

[minonet]

Hadoop超える機械学習向きのビッグデータ処理基盤、Spark 1.0が正式公開（ニュース） 　米Apache Software Foundationは、ビッグデータ処理を分散クラスター上で高速に実行できる処理基盤「Sp...