在Spark聚合期间收集唯一元素

作者: 文艺青年
发布时间: 2024-12-14 10:58:12 (2月前)
转自：

2 条回复

0#
回复此人
撩心 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 你可能想用 <code> collect_set() </code> 代替 <code> collect_list() </code> 。这将在收集过程中自动删除重复项。 </p> <P> 我不确定为什么要将唯一字符串数组转换为逗号分隔列表。 Spark可以轻松处理数组列，并显示它们以便可以看到每个元素。但是，如果您绝对必须将数组转换为逗号分隔的字符串，请使用 <a href="https://spark.apache.org/docs/latest/api/sql/#array_join" rel="nofollow noreferrer"> <code> array_join </code> </A> 在Spark 2.4+或早期版本的Spark中的UDF。 </p> </DIV>

编辑

登录后才能参与评论