当jar在HDFS中时，Spark作业没有运行

作者: 滔滔江水
发布时间: 2024-08-15 09:55:33 (4天前)
转自：

2 条回复

0#
回复此人
咿呀哟 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 你能澄清什么是本地模式吗？只有两种部署模式客户端和集群，唯一的区别在于客户端模式驱动程序将在系统上运行，而在集群模式下，驱动程序将从集群中的随机节点运行。 </p> <P> 对于spark submit命令： </p> <P> 执行spark submit命令时，spark会将使用--files， - py-files参数和Spark Main Jar定义的所有本地资源/文件拉到临时HDFS位置/目录，该目录由特定的spark应用程序创建。应用名称。当您提供HDFS位置时，它将无法将Jar放在本地计算机上。将Jar保留在本地是强制性的。 </p> </DIV>

编辑

登录后才能参与评论