事实证明这是一个相当通用的JVM问题。我通过向Windows系统添加一个新的环境变量来解决这个问题,而不仅仅是添加运行时参数:
名称: _JAVA_OPTIONS 值: -Xms512M -Xmx1024M
_JAVA_OPTIONS
-Xms512M -Xmx1024M
当声明SparkConf尝试时 .set("spark.driver.memory","5g") 。当然,如果你有机器5 + g以上的内存。
.set("spark.driver.memory","5g")