我通过$ SPARK_HOME / bin / spark-submit –master yarn –deploy-mode集群在集群上运行多个spark作业。
当一个新版本的Spark上线时,我想以某种方式推出一个新的发行版……
可以在YARN群集上运行任意数量的Spark分发。我已经在我的MapR集群上完成了很多次,混合了1-3个不同的版本,并在那里设置了正式的Apache Spark。
您只需要调整conf / spark-env.sh(重命名spark-env.sh.template)并添加一行:
export SPARK_HOME=/your/location/of/spark/spark-2.1.0