PROSAGA码农传奇-YARN-Oozie shell动作为spark作业抛出NullPointerException

Oozie shell动作为spark作业抛出NullPointerException

作者: 小狮子
发布时间: 2025-03-08 12:17:05 (3天前)
转自：

我有一个带有spark-submit命令的shell脚本，可以使用oozie shell动作运行。

Oozie能够从shell脚本运行spark-submit命令，但是在部署纱线时作业失败。

…

通过添加两个系统参数解决了该问题。
HADOOP_CONF_DIR =的/ etc / hadoop的/ CONF
YARN_CONF_DIR =的/ etc / hadoop的/ CONF

更新的workflow.xml：


    
      workflow:0.5">

    
        hcat.metastore.uri
        ${hcatMetastoreUri}
    
    
        hcat.metastore.principal
        ${hcatMetastorePrincipal}
    

    
        hive2.jdbc.url
        ${hive2JdbcUrl}
    
    
        hive2.server.principal
        ${hive2ServerPrincipal}
    

shell-action:0.2">
      ${jobTracker}
      ${nameNode}
     
        
            mapred.job.queue.name
            ${queueName}
        
    
    ${myscript}
    HADOOP_CONF_DIR=/etc/hadoop/conf
    YARN_CONF_DIR=/etc/hadoop/conf
    ${myscriptPath}hdfs:///application.properties#application.propertieshdfs:///test-job.jar#test-job.jarhdfs:///myusr.keytab#myusr.keytab
   
   
   
   
   
  
   Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]
 
Incorrect output, expected [Hello Oozie] but was [${wf:actionData(‘shell-node’)[‘my_output’]}]
</code>