注册
登录
YARN
使用YARN客户端模式时，如何防止Spark Executors迷路？
返回
使用YARN客户端模式时，如何防止Spark Executors迷路？
作者:
狗头军师
发布时间:
2024-04-18 09:02:58 (13天前)
<p>嗨，我有一个Spark作业，该作业可以在本地以较少的数据运行良好，但是当我在YARN上安排执行该作业时，我会不断收到以下错误，然后缓慢地将所有执行者从UI中删除，我的作业失败了</p> <pre><code>15/07/30 10:18:13 ERROR cluster.YarnScheduler: Lost executor 8 on myhost1.com: remote Rpc client disassociated 15/07/30 10:18:13 ERROR cluster.YarnScheduler: Lost executor 6 on myhost2.com: remote Rpc client disassociated </code></pre><p>我使用以下命令在yarn-client模式下安排火花作业<br/><code> ./spark-submit --class com.xyz.MySpark --conf "spark.executor.extraJavaOptions=-XX:MaxPermSize=512M" --driver-java-options -XX:MaxPermSize=512m --driver-memory 3g --master yarn-client --executor-memory 2G --executor-cores 8 --num-executors 12 /home/myuser/myspark-1.0.jar </code></p><p>我不知道是什么问题，请指导。我是Spark的新手。提前致谢。</p>
收藏
举报
2 条回复
1#
回复此人
v-star*위위
|
2020-08-17 14-33
我有一个非常类似的问题。无论我们分配给他们多少内存，我都会让很多执行者迷路。 如果您使用yarn的解决方案是set --conf spark.yarn.executor.memoryOverhead=600，或者如果您的集群使用mesos，则可以尝试--conf spark.mesos.executor.memoryOverhead=600。 在Spark 2.3.1+中，配置选项现在为 --conf spark.yarn.executor.memoryOverhead=600 似乎我们没有为YARN留下足够的内存，并且容器因此而被杀死。设置完之后，我们遇到了不同的内存不足错误，但是没有相同的遗失执行器问题。
编辑
登录
后才能参与评论
