我试图在独立模式下运行一个火花作业,但是命令没有从HDFS中拾取jar。jar存在于HDFS位置,当我在本地模式下运行它时工作正常。
下面……
你能澄清什么是本地模式吗?只有两种部署模式客户端和集群,唯一的区别在于客户端模式驱动程序将在系统上运行,而在集群模式下,驱动程序将从集群中的随机节点运行。
对于spark submit命令:
执行spark submit命令时,spark会将使用--files, - py-files参数和Spark Main Jar定义的所有本地资源/文件拉到临时HDFS位置/目录,该目录由特定的spark应用程序创建。应用名称。当您提供HDFS位置时,它将无法将Jar放在本地计算机上。将Jar保留在本地是强制性的。