来自
有关YARN动态资源分配的文档
:
在Spark中,对执行程序的粒度执行动态资源分配
这意味着它将启动更多的执行程序,但这并不意味着它将改变单个执行程序的内存量。如果要将更多资源加载到内存中而不是单个执行程序可以处理,那么激活更多资源就不会有任何好处。
(“spark.driver.memory”,“
5克
</跨度>
“)
.set(“spark.executor.memory”,“30g”)
.set(“spark.shuffle.service.enabled”,“true”)
.set(“spark.dynamicAllocation.enabled”,“true”)
.set(“spark.default.parallelism”,String.valueOf锟