使用YARN vCores：Spark on YARN

作者: 一号位
发布时间: 2024-04-19 03:19:07 (6小时前)
转自：

2 条回复

0#
回复此人
无思 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 在火花配置中 <a href="https://spark.apache.org/docs/latest/configuration.html#dynamically-loading-spark-properties" rel="nofollow noreferrer"> 文档 </A> 你会看到以下内容： </p> <BLOCKQUOTE> <P> Spark属性主要可以分为两种：一种与deploy相关，如“spark.driver.memory”，“spark.executor.instances”，在运行时通过SparkConf以编程方式设置时，这种属性可能不受影响，或者行为取决于您选择的集群管理器和部署模式，因此建议通过配置文件或spark-submit命令行选项进行设置;另一个主要与Spark运行时控件有关，比如“spark.task.maxFailures”，这种属性可以以任何一种方式设置。 </p> </BLOCKQUOTE> <P> 你想要从你的设置中设置的大部分设置 <code> spark-submit </code> 命令行，而不是代码。无论如何，这通常是一种更好的做法，因此您可以使用不同的参数启动作业，而无需重新编译它。 </p> <P> 你想要的东西是这样的： </p> <pre> <code> spark-submit --num-executors 4 --executor-cores 3 --executor-memory 14g --driver-memory 1g --driver-cores 5 --class <main_class> <your_jar> </code> </pre> </DIV>

编辑

登录后才能参与评论