SparkのRDDについて - TASK NOTESApache Spark の RDD について。 RDDの基本 耐障害性分散データセットであるRDD（Resilient Distributed Dataset）の特徴は以下の通りです。 イミュータブルなオブジェクトの分散コレクションである。 復数のパーティションに分割されクラスタの各ノード上で処理される。 生成や変換が遅延評価される。 RDD は復数のマシンから構成されるクラスタ上での分散処理を前提として設計されており、内部的にはパーティションに分割されています。Spark ではこのパーティションが分散処理の単位となり、パーティションごとに復数のマシンで処理することによって、単一のマシンでは処理しきれない大量のデータを扱うことができるのです。 Scala Doc - org.apache.spark.rdd.RDD Java Doc - org.apache.spark.api.java
