Encoderメモ(Hishidama's Apache Spark Encoder Memo)

概要 Spark2のDatasetでは、（Java標準のシリアライズやKryoを使わず）Encoderを使ってシリアライズ/デシリアライズを行う。 デフォルトでは、IntやLong等のプリミティブ型・String・配列・Productを継承したクラスのEncoderが用意されている。 ScalaのケースクラスはProductを継承しているのでEncoderで扱うことが出来る。 （現状では独自のEncoderを作るのは大変そうなので、データにはケースクラスを使うのが良さそう） SparkSessionやDatasetでは、Encoderが存在していることを前提としているメソッドがある。 このための暗黙変換メソッドがSQLImplicitsで定義されているので、spark.implicitsのメソッドをインポートしておけば、特に気にせずEncoderを扱うことが出来る。 import spar