将MR作业提交给具有不同ID的Hadoop集群

作者: 生如夏花
发布时间: 2024-12-16 11:57:16 (10天前)
转自：

2 条回复

0#
回复此人
哎？小查查 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <BLOCKQUOTE> <P> 开发人员可以向hadoop集群提交作业的最佳实践？ </p> </BLOCKQUOTE> <P> 取决于工作...... <code> yarn jar </code> 将用于MapReduce </p> <BLOCKQUOTE> <P> 这意味着dev-user1无法读取/写入HDFS，因为它是可以访问HDFS的hdfs id。 </p> </BLOCKQUOTE> <P> 并非所有内容都归hdfs用户所有。你需要做 <code> /user/dev-user1 </code> 该用户拥有的HDFS目录，以便用户拥有“私有”空间。您仍然可以在多个用户写入的HDFS上的任何其他位置创建目录。 </p> <P> 只有你在HDFS上明确启用了权限才会检查权限...即使你这样做了，你仍然可以将两个用户放在同一个POSIX组中，或者使所有目录全局可写。 </p> <P> <a href="https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/HdfsPermissionsGuide.html" rel="nofollow noreferrer"> https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/HdfsPermissionsGuide.html </A> </p> <P> 在生产级集群中，Hadoop由Kerberos凭据保护，ACL通过Apache Ranger或Sentry进行管理，这两者都允许细粒度的权限管理 </p> </DIV>

编辑

登录后才能参与评论