Sparkの永続化（キャッシュ）を試してみた - Qiita

背景・目的 Sparkではメモリ内のデータセットを永続化する事が可能です。この機能を試してみたいと思います。 まとめ Sparkでは、キャッシュを使用してデータセット（RDD）を保存し再利用することが可能です。 キャッシュ関連の関数（メソッド）には、下記が用意されています。 cache() persist() キャッシュはLRUアルゴリズムによって追い出されるが、明示的に開放するには、下記を実行します。 unpersist() キャッシュする際に、Storage Levelを指定することが可能。Storage Levelは下記のようなものがあります。 メモリのみ メモリとディスクの組み合わせ ディスクのみ キャッシュする場合、上記のどこに保存するかに加えて、下記も選択可能です。 別のノードへのレプリケーション シリアライゼーション/デシリアライゼーション 概要 RDD Persistenc