Spark Kryoメモ(Hishidama's Apache Spark Kryo serialization Memo)

概要 Spark（1系）のデフォルトのシリアライズ方法は、Java標準のシリアライズである。 つまり、RDDで保持する対象となるクラスはjava.io.Serializable（またはjava.io.Externalizable）をミックスイン（実装）している必要がある。 （Scalaのケースクラスは自動的にSerializableがミックスインされるので、ケースクラスを使う場合は気にしなくて良い） それとは別に、別途シリアライザーを定義しておき、それを使う方法がある。 デフォルトではKryo serializationを使う方法が用意されている。 Kryoを「クリョ」と読んで「言いづらいなぁ」と思っていたのだけれど、「クライオ」と読むらしい＾＾；[/2014-09-16] Kryoはオブジェクトのグラフ（つまりコレクション？）を効率よくシリアライズ/クローンする為のJavaフレームワーク

[wlbhiro]

kryo=クライオ