如何设置Spark执行器的数量？

作者: 狗头军师
发布时间: 2024-10-05 12:31:44 (15天前)

2 条回复

1#
回复此人
v-star*위위 | 2020-08-17 14-44

好的，我知道了。执行程序的数量实际上不是Spark属性本身，而是用于在YARN上放置作业的驱动程序。因此，当我使用SparkSubmit类作为驱动程序时，它具有适当的--num-executors参数，正是我所需要的。更新：对于某些工作，我不再遵循SparkSubmit方法。我不能主要针对Spark作业只是应用程序组件之一（甚至是可选组件）的应用程序执行此操作。对于这些情况，我使用spark-defaults.conf附加到群集中的群集配置和spark.executor.instances属性。这种方法更为通用，可让我根据群集（开发人员工作站，登台，生产）适当地平衡资源。

编辑

登录后才能参与评论