PROSAGA码农传奇-YARN-spark-submit集群模式不适用于python spark，但适用于scala spark

<div class =“post-text”itemprop =“text”>
  
    如果您要登陆此页面并且已配置自己的群集，这可能对您有所帮助：
堆栈跟踪：ExitCodeException exitCode = 127通常与脚本问题有关。
请检查脚本并删除任何不必要的参数。
  
  
    就我而言，我在代码中面临以下问题：
  
   <pre>
 <code>
 /opt/rh/rh-python35/root/usr/bin/python3.5 : error while loading shared libraries : 
libpython3.5m.so.rh-python35-1.0 : cannot open shared object file : No such file or 
directory

</code>
 </pre>
  
    最近我们将我们的集群python版本从2.7.x升级到3.5.x，我注意到当作业在客户端模式下运行时，它成功运行而不是集群模式。
  
  
    原因是，除了edgenode / master节点之外的所有其他节点仍在使用为同一用户配置的python 2.7.x运行。
  
  
    将相同的设置部署到同一用户的其余节点后，问题得到解决，所有节点都显示python 3.5.x.
  
  
    在.bashrc中：
  
   <pre>
 <code>
 export SPARK_HOME=/usr/local/spark
export SPARK_PID_DIR=/data/ecommerce/hadoop-2.7.2/pids/spark#$SPARK_HOME/temp
export PATH=$PATH:$SPARK_HOME/bin
export OOZIE_HOME=/data/ecommerce/oozie-server/oozie-4.2.0
export PATH=$PATH:$OOZIE_HOME/bin

export PYSPARK_PYTHON=/opt/rh/rh-python35/root/usr/bin/python3.5
#export PYSPARK_DRIVER_PYTHON=python3.5
export PATH="/opt/rh/rh-python35/root/usr/bin":$PATH
export LD_LIBRARY_PATH=/opt/rh/rh-python35/root/usr/lib64
#export PYTHONPATH=/usr/local/spark/python/lib/
export PYTHONPATH=/opt/rh/rh-python35/root/usr/bin/python3.5

</code>
 </pre>
  
    希望这可以帮助！
干杯!
  
</DIV>