当我提交此命令时,我的作业失败并显示错误“Container正在超出物理内存限制”。
spark-submit –master yarn –deploy-mode cluster –executor-memory 5G –total-executor-cores …
如果增加驱动程序内存有助于您成功完成作业,则意味着驱动程序正在从执行程序进入其中的大量数据。通常,驱动程序负责在执行任务后从每个执行程序收集结果。因此,在您的情况下,似乎增加驱动程序内存有助于将更多结果存储回驱动程序内存中。
如果您阅读了执行程序内存,驱动程序内存以及驱动程序与执行程序交互的方式,那么您将更清楚地了解您所处的情况。
希望它在某种程度上有所帮助。