如何将sparkcontext连接到纱线上的CDH 6

作者: 电动少女
发布时间: 2024-09-01 12:04:15 (27天前)
转自：

2 条回复

0#
回复此人
老人与海。 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 遗憾的是，在Spark中从本地模式切换到集群模式并不容易，但它是一个记录良好的过程。您还必须确保可以从群集的每个执行节点访问您的文件（如果使用任何文件），方法是将它们放在HDFS上。 </p> <P> 首先，您必须确保在运行代码的计算机上配置Hadoop的客户端，然后才能执行代码。 </p> <P> 通常，您将使用 <code> spark-submit </code> 如： </p> <pre> <code> $ ./bin/spark-submit --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ --driver-memory 4g \ --executor-memory 2g \ --executor-cores 1 \ --queue thequeue \ examples/jars/spark-examples*.jar \ 10 </code> </pre> <P> 但你也应该能够执行它： </p> <pre> <code> SparkSession spark = SparkSession.builder() .appName("app") .master("yarn") .getOrCreate(); </code> </pre> <P> 您将在以下位置找到更多详情： <a href="https://spark.apache.org/docs/latest/running-on-yarn.html" rel="nofollow noreferrer"> https://spark.apache.org/docs/latest/running-on-yarn.html </A> 。 </p> </DIV>

编辑

登录后才能参与评论