YARN上的Spark：比通过spark-submit设置更少的执行程序内存

作者: Jacob
发布时间: 2024-12-23 08:54:00 (1月前)
转自：

2 条回复

0#
回复此人
甲基蓝 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> UI中的存储内存列显示用于执行和RDD存储的内存量。默认情况下，这等于（HEAP_SPACE - 300MB）* 75％。内存的其余部分用于内部元数据，用户数据结构和其他内容。 </p> <P> 您可以通过设置来控制此金额 <code> spark.memory.fraction </code> （不建议）。查看更多 <a href="http://spark.apache.org/docs/latest/configuration.html#memory-management" rel="nofollow"> Spark的文档 </A> </p> </DIV>

编辑

登录后才能参与评论