如何在Spark中覆盖输出目录

作者: 只怕再见是故人
发布时间: 2024-10-04 02:02:57 (8分钟前)

2 条回复

1#
回复此人
春风助手 | 2020-08-13 11-41

更新：建议使用Dataframes，以及类似的内容... .write.mode(SaveMode.Overwrite) ...。方便的皮条客： ``` implicit class PimpedStringRDD(rdd: RDD[String]) { def write(p: String)(implicit ss: SparkSession): Unit = { import ss.implicits._ rdd.toDF().as[String].write.mode(SaveMode.Overwrite).text(p) } } ``` 对于旧版本，请尝试 ``` yourSparkConf.set("spark.hadoop.validateOutputSpecs", "false") val sc = SparkContext(yourSparkConf) ``` 在1.1.0中，您可以使用带有--conf标志的spark-submit脚本来设置conf设置。警告（旧版本）：根据@piggybox的说法，Spark中存在一个错误，该错误只会覆盖写入其part-文件所需的文件，而其他文件则不会被删除。

编辑

登录后才能参与评论