对纱线概念的理解

作者: 狗头军师
发布时间: 2025-02-05 05:10:13 (25天前)

2 条回复

1#
回复此人
v-star*위위 | 2020-08-17 14-37

我们正在YARN上运行Spark作业（我们使用HDP 2.2）。我们没有在群集上安装spark。我们仅将Spark装配罐添加到HDFS中。例如，运行Pi示例： ``` ./bin/spark-submit \ --verbose \ --class org.apache.spark.examples.SparkPi \ --master yarn-cluster \ --conf spark.yarn.jar=hdfs://master:8020/spark/spark-assembly-1.3.1-hadoop2.6.0.jar \ --num-executors 2 \ --driver-memory 512m \ --executor-memory 512m \ --executor-cores 4 \ hdfs://master:8020/spark/spark-examples-1.3.1-hadoop2.6.0.jar 100 ``` --conf spark.yarn.jar=hdfs://master:8020/spark/spark-assembly-1.3.1-hadoop2.6.0.jar-此配置告诉纺纱人要取火花组件。如果您不使用它，它将在您运行时上传jar spark-submit。关于第二个问题：客户端节点不需要安装Hadoop。它只需要配置文件。您可以将目录从群集复制到客户端。

编辑

登录后才能参与评论