PySparkで日付毎にデータを蓄積する際のdf.write.modeについて - 山ｐの楽しいお勉強生活

概要 PySparkでpartitionByで日付毎に分けてデータを保存している場合、どのように追記していけば良いのか。 先にまとめ appendの方がメリットは多いが、チェック忘れると重複登録されるデメリットが怖い。 とはいえ、overwriteも他のデータ消えるデメリットも怖いので、一長一短か。 説明用コード path = 's3://..../hoge/' df = spark.createDataFrame( [ ['a',1,'hoge','20190101'], ['b',2,'huga','20190201'], ['c',3,'piyo','20190301'] ], ['id','integer','string','date'] ) ( df .write .mode('overwrite') .partitionBy('date') .parquet(path) )