PROSAGA码农传奇-YARN-Spark RDD.pipe以特定用户身份运行bash脚本

<div class =“post-text”itemprop =“text”>
  
    我不确定这是否是Spark的错误处理Pipe（）的方式不同，但我在JIRA上打开了一个类似的问题：
    <a href="https://issues.apache.org/jira/projects/SPARK/issues/SPARK-26101" rel="nofollow noreferrer">
      https://issues.apache.org/jira/projects/SPARK/issues/SPARK-26101
    </A>
  
  
    现在问题。显然在YARN集群中Spark Pipe（）要求一个容器，无论你的Hadoop是不安全还是由Kerberos保护，容器是否由用户运行都是有区别的
     <code>
 yarn/nobody
 </code>
     或启动容器的用户
     <code>
 your actual user
 </code>
    。
  
  
    使用Kerberos来保护您的Hadoop，或者如果您不想通过保护Hadoop，可以在YARN中设置两个配置，使用Linux用户/组来启动容器。
    的
      注意
    </强>
    ， 你必须
    的
      分享
    </强>
     相同
    的
      用户/组
    </强>
     跨群集中的所有节点。否则，这将无效。 （也许使用LDAP / AD同步您的用户/组）
  
  
    设置这些：
  
   <pre>
 <code>
 yarn.nodemanager.linux-container-executor.nonsecure-mode.limit-users = false

yarn.nodemanager.container-executor.class = org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor

</code>
 </pre>
  
    资源：
    <a href="https://hadoop.apache.org/docs/r2.7.4/hadoop-yarn/hadoop-yarn-site/NodeManagerCgroups.html" rel="nofollow noreferrer">
      https://hadoop.apache.org/docs/r2.7.4/hadoop-yarn/hadoop-yarn-site/NodeManagerCgroups.html
    </A>
     
（即使在Hadoop 3.0中也是如此）
  
  
    这个修复工作在Cloudera最新的CDH 5.15.1（yarn-site.xml）：

<a href =“http://community.cloudera.com/t5/Batch-Processing-and-Workflow/YARN-force-nobody-user-on-all-jobs-and-so-they-fail/mp/82572 / highlight / true＃M3882“rel =”nofollow noreferrer“>
      http://community.cloudera.com/t5/Batch-Processing-and-Workflow/YARN-force-nobody-user-on-all-jobs-and-so-they-fail/mp/82572/highlight/true# M3882
    </A>
  
  
    例：
  
   <pre>
 <code>
 val test = sc.parallelize(Seq("test user")).repartition(1)

val piped = test.pipe(Seq("whoami"))

val c = piped.collect()

est: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[4] at repartition at <console>:25
piped: org.apache.spark.rdd.RDD[String] = PipedRDD[5] at pipe at <console>:25
c: Array[String] = Array(maziyar)

</code>
 </pre>
  
    这将返回
     <code>
 username
 </code>
     在设置了这些配置后，谁开始了Spark会话
     <code>
 yarn-site.xml
 </code>
     并同步所有节点中的所有用户/组。
  
</DIV>