如何检查HDFS上文件夹/文件中的重复记录

作者: 机器设备维修
发布时间: 2024-08-14 07:30:34 (21天前)
转自：

2 条回复

0#
回复此人
一别而尽几念深i | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 所以解决方案确实非常简单： </p> <pre> <code> var df = sqlContext.load("com.databricks.spark.csv", Map("path" -> input_file, "header" -> has_header, "delimiter" -> delimiter, "inferSchema" -> infer_schema)) val df_distinct = df.dropDuplicates(); </code> </pre> </DIV>

编辑

登录后才能参与评论