在每列III的数据帧中,我分配固定宽度并存储回HDFS,但问题是我没有得到正确的对齐
这是我的代码:
val hdfs = spark.read.option(“header”,“true”)….
火花 csv writer提供以下选项 :
csv
ignoreLeadingWhiteSpace(默认值为true):一个标志,指示是否应跳过正在写入的值的前导空格。 ignoreTrailingWhiteSpace(默认为true):一个标志,指示是否应该跳过正在写入的值的尾随空格。
在你的情况下应该设置为 false ,即
false
df.coalesce(1).write.format("csv") .option("ignoreLeadingWhiteSpace", "false") .option("ignoreTrailingWhiteSpace", "false") ... .save()