概要 タイトルが全て MEMORY_ONLYだと勘違いしていたためメモ persistも引数なしで呼び出すとMEMORY_AND_DISKなので同じ https://spark.apache.org/docs/3.2.0/api/python/reference/api/pyspark.sql.DataFrame.cache.html https://spark.apache.org/docs/3.2.0/api/python/reference/api/pyspark.sql.DataFrame.persist.html ※2021/12/17時点の最新版であるPySpark3.2.0の情報です 詳細 レベルの変更の歴史 pyspark.sql.DataFrame.cache がPySpark1.3.0で追加されたときは「MEMORY_ONLY_SER」レベル https://spark