我正在使用Spark2.1版本,我有一个关于spark join如何在内部工作的基本问题。
假设在2个数据节点上分布有两组RDD,如下所示:
员工RDD(……
你在问题中描述的内容在Spark中被称为shuffle操作,你是正确的说它会造成瓶颈,建议将shuffle操作保持在最低限度。它创造了一个瓶颈,但它不可避免。
随机操作的相关资源: https://0x0fff.com/spark-architecture-shuffle/
随机操作的示例:reduce,join