Spark SQLメモ(Hishidama's Apache Spark SQL Memo)

概要 Spark SQLは、Spark（RDD）の操作をSQL（SELECT文）で行う為のクラス群。 Sparkをインストールすればそのまま使える。（他に特に何かをインストールする必要は無い） Spark SQLを使う場合、SQLContextとSchemaRDDクラスを使う。 import org.apache.spark._ import org.apache.spark.sql._ val sc: SparkContext = ～ val sqlContext = new SQLContext(sc) import sqlContext._ SQLContextインスタンスはSparkContextを使って生成する。 SQLContextには通常のRDDからSchemaRDDへ変換する暗黙変換メソッドが定義されているので、インポートしておく。 SchemaRDDはRDD[Row]、す