Apache Spark™ is a multi-language engine for executing data engineering, data science, and machine learning on single-node machines or clusters.
![Apache Spark™ - Unified Engine for large-scale data analytics](https://cdn-ak-scissors.b.st-hatena.com/image/square/3c4d798f84ac3d11a788220407f00f1182d93e89/height=288;version=1;width=512/https%3A%2F%2Fspark.apache.org%2Fimages%2Fspark-twitter-card-large.jpg)
こんにちは。 Kafkaを試している最中で微妙ですが、最近使えるのかなぁ、と情報を集めているのが「Apache Spark」です。 MapReduceと同じく分散並行処理を行う基盤なのですが、MapReduceよりも数十倍速いとかの情報があります。 ・・・んな阿呆な、とも思ったのですが、内部で保持しているRDDという仕組みが面白いこともあり、 とりあえず資料や論文を読んでみることにしました。 まず見てみた資料は「Overview of Spark」(http://spark.incubator.apache.org/talks/overview.pdf)です。 というわけで、読んだ結果をまとめてみます。 Sparkとは? 高速でインタラクティブな言語統合クラスタコンピューティング基盤 Sparkプロジェクトのゴールは? 以下の2つの解析ユースケースにより適合するようMapReduceを拡張
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く