我在EC2上安装了带有Spark和Yarn的多节点HDP集群
每个节点都是DataNode。
Node3是唯一的Spark Client节点。
每次我用纱线客户或纱线集群进行火花工作……
哦,我真的很蠢。
我必须将每个节点添加为Yarn NodeManager。有了这个,我的火花作业很好地分布在集群的每个节点上。
对不起,这是愚蠢的