Pyspark在驱动程序（python3.5）和worker（python2.7）中有不同的版本

作者: 林老爷的日常
发布时间: 2024-04-18 01:45:52 (18天前)
转自：

2 条回复

0#
回复此人
喜欢一个人 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 你必须确保以下内容 <a href="https://spark.apache.org/docs/latest/configuration.html#environment-variables" rel="nofollow noreferrer"> 环境变量 </A> 在你的spark-env.sh中指向所有（！）节点上具有相同（！）版本的python二进制可执行文件： </p> <UL> <LI> PYSPARK_DRIVER_PYTHON </LI> <LI> PYSPARK_PYTHON </LI> </UL> <P> 如果当前未设置PYSPARK_PYTHON，请进行设置。 PYSPARK_PYTHON定义执行程序和驱动程序的可执行文件。当你只将PYSPARK_DRIVER_PYTHON设置为python3.5时，执行程序仍将使用默认的python可执行文件python2.7，这会引发你看到的exeception。 </p> </DIV>

编辑

登录后才能参与评论