0.0.0.0 是默认的hostname属性,8032是默认端口号。
0.0.0.0
您获得默认值的一个原因是Hadoop环境变量都没有正确设置。您的 HADOOP_CONF_DIR 需要成为Spark(或Hadoop) conf 文件夹,而不是Spark提取的基本文件夹。该目录必须包含 core-site.xml , yarn-site.xml , hdfs-site.xml ,和 hive-site.xml 如果使用HiveContext
HADOOP_CONF_DIR
conf
core-site.xml
yarn-site.xml
hdfs-site.xml
hive-site.xml
然后,如果yarn-site.xml位于上述位置,则不需要 YARN_CONF_DIR ,但如果你设置它,它需要是一个实际的目录,而不是直接到文件。
YARN_CONF_DIR
此外,您可能需要设置多个主机名。例如,生产级YARN集群将具有两个用于容错的ResourceManagers。此外,如果启用了Kerberos键盘和主体,则可能需要设置一些Kerberos键盘和主体。
如果你已经有Mesos / Marathon,我不确定你为什么要使用YARN