如何激发提交作业到其他集群上的纱线？

作者: 诸葛神侯
发布时间: 2024-08-17 09:13:02 (17天前)
转自：

2 条回复

0#
回复此人
荧惑 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> <code> 0.0.0.0 </code> 是默认的hostname属性，8032是默认端口号。 </p> <P> 您获得默认值的一个原因是Hadoop环境变量都没有正确设置。您的 <code> HADOOP_CONF_DIR </code> 需要成为Spark（或Hadoop） <code> conf </code> 文件夹，而不是Spark提取的基本文件夹。该目录必须包含 <code> core-site.xml </code> ， <code> yarn-site.xml </code> ， <code> hdfs-site.xml </code> ，和 <code> hive-site.xml </code> 如果使用HiveContext </p> <P> 然后，如果yarn-site.xml位于上述位置，则不需要 <code> YARN_CONF_DIR </code> ，但如果你设置它，它需要是一个实际的目录，而不是直接到文件。 </p> <P> 此外，您可能需要设置多个主机名。例如，生产级YARN集群将具有两个用于容错的ResourceManagers。此外，如果启用了Kerberos键盘和主体，则可能需要设置一些Kerberos键盘和主体。 </p> <P> 如果你已经有Mesos / Marathon，我不确定你为什么要使用YARN </p> </DIV>

编辑

登录后才能参与评论