有关提交应用程序的Spark文档说: 以客户端或集群模式连接到YARN集群,具体取决于–deploy-mode的值。群集位置将基于…
HADOOP_CONF_DIR 是包含Hadoop库用于各种Hadoop特定内容的配置文件的目录。我写 各种Hadoop特有的东西 要强调的是,与Spark相关的并不多。
HADOOP_CONF_DIR
更重要的是 HADOOP_CONF_DIR 也可以指向一个空目录(假设默认值)。
要回答您的问题,您可以在中定义群集位置 纱的site.xml 运用 yarn.resourcemanager.address 。如果 yarn-site.xml 如果找不到,YARN群集可在localhost上获得。
yarn.resourcemanager.address
yarn-site.xml
我应该放在哪里 yarn-site.xml 所以 spark-submit 会用吗?
spark-submit
我以前用过 YARN_CONF_DIR 指向目录 yarn-site.xml 。
YARN_CONF_DIR
YARN_CONF_DIR=/tmp ./bin/spark-shell --master yarn