在PySpark中设置YARN队列

作者: Mystery☀
发布时间: 2024-09-01 03:44:11 (3天前)
转自：

3 条回复

0#
回复此人
biu~额 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 您可以在spark-submit命令中使用以下参数。 </p> <pre> <code> --queue queue_name </code> </pre> <P> 您可以在代码中设置此属性。 <code> spark.yarn.queue </code> </p> <P> 希望这会有所帮助。 </p> <P> 谢谢 </p> </DIV>

编辑
1#
回复此人
谦成 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 尝试使用“yarn.spark.queue”而不是“queue”。 </p> <pre> <code> conf = pyspark.SparkConf().set("yarn,spark.queue", "your_queue_name") sc </code> </pre> </DIV>

编辑

登录后才能参与评论