纱线上的动态调度火花作业


❀⚘粉༵红༵回༵忆༵⚘❀
2025-04-03 03:49:30 (8天前)
  1. (“spark.driver.memory”,“


5克
</跨度>
“)
.set(“spark.executor.memory”,“30g”)
.set(“spark.shuffle.service.enabled”,“true”)
.set(“spark.dynamicAllocation.enabled”,“true”)
.set(“spark.default.parallelism”,String.valueOf锟

2 条回复
  1. 0# 凯撒 | 2019-08-31 10-32



    来自

    有关YARN动态资源分配的文档





    在Spark中,对执行程序的粒度执行动态资源分配




    这意味着它将启动更多的执行程序,但这并不意味着它将改变单个执行程序的内存量。如果要将更多资源加载到内存中而不是单个执行程序可以处理,那么激活更多资源就不会有任何好处。


登录 后才能参与评论