Apache Spark连接跨多个节点的操作

作者: 撩心
发布时间: 2024-08-27 12:54:51 (8天前)
转自：

2 条回复

0#
回复此人
star*위위 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 你在问题中描述的内容在Spark中被称为shuffle操作，你是正确的说它会造成瓶颈，建议将shuffle操作保持在最低限度。它创造了一个瓶颈，但它不可避免。 </p> <P> 随机操作的相关资源： <a href="https://0x0fff.com/spark-architecture-shuffle/" rel="nofollow noreferrer"> https://0x0fff.com/spark-architecture-shuffle/ </A> </p> <P> 随机操作的示例：reduce，join </p> </DIV>

编辑

登录后才能参与评论