MasterNode如何适应Spark群集？

作者: 林老爷的日常
发布时间: 2025-02-06 05:01:22 (8天前)
转自：

2 条回复

0#
回复此人
故人 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <OL> <LI> 不应考虑主节点来计算执行器的数量 </LI> <LI> 每个节点实际上都是带有操作系统的EC2实例，因此您必须为系统任务和纱线代理留下一个或多个内核 </LI> <LI> 主节点可用于运行火花驱动程序。通过添加参数，从主节点以客户端模式启动EMR集群 <code> --master yarn --deploy-mode client </code> 至 <code> spark-submit </code> 命令。请记住以下内容： <BLOCKQUOTE> <P> 群集模式允许您使用S3 URI提交工作。客户端模式要求您将应用程序放在群集主节点上的本地文件系统中 </p> </BLOCKQUOTE> </LI> </醇> <P> 要执行所有准备工作（将库，脚本等复制到主节点），您可以设置单独的步骤然后运行 <code> spark-submit --master yarn --deploy-mode client </code> 命令作为下一步。 </p> </DIV>

编辑

登录后才能参与评论