Hadoop YARN版本可能的完整流命令行选项列表是什么?


猫南北
2025-03-18 09:14:46 (21天前)


我浏览了Hadoop网站,发现了以下有关hadoop流媒体的链接。

https://hadoop.apache.org/docs/current1/streaming.html

但是,我对Hadoop YARN(MRv2)更感兴趣 - …

2 条回复
  1. 0# 757461156 | 2019-08-31 10-32



    如果您想查看所有Hadoop流命令行选项,请参阅
    <a href =“https://github.com/apache/hadoop/blob/trunk/hadoop-tools/hadoop-streaming/src/main/java/org/apache/hadoop/streaming/StreamJob.java#L471"rel =“nofollow noreferrer”>
    StreamJob.java - setupOptions()





    1. allOptions = new Options().
      addOption(input).
      addOption(output).
      addOption(mapper).
      addOption(combiner).
      addOption(reducer).
      addOption(file).
      addOption(dfs).
      addOption(additionalconfspec).
      addOption(inputformat).
      addOption(outputformat).
      addOption(partitioner).
      addOption(numReduceTasks).
      addOption(inputreader).
      addOption(mapDebug).
      addOption(reduceDebug).
      addOption(jobconf).
      addOption(cmdenv).
      addOption(cacheFile).
      addOption(cacheArchive).
      addOption(io).
      addOption(background).
      addOption(verbose).
      addOption(info).
      addOption(debug).
      addOption(help).
      addOption(lazyOutput);

    2. </code>


    与MapReduce相关的选项是所有MapReduce应用程序的通用选项,并查看它们是否有效

    mapred-default.xml中

    配置变量。仅供参考:这是指Hadoop 2.8.0,因此您可能需要为您的Hadoop版本找到合适的XML。


登录 后才能参与评论