我浏览了Hadoop网站,发现了以下有关hadoop流媒体的链接。
https://hadoop.apache.org/docs/current1/streaming.html
但是,我对Hadoop YARN(MRv2)更感兴趣 - …
如果您想查看所有Hadoop流命令行选项,请参阅 StreamJob.java - setupOptions() :
allOptions = new Options(). addOption(input). addOption(output). addOption(mapper). addOption(combiner). addOption(reducer). addOption(file). addOption(dfs). addOption(additionalconfspec). addOption(inputformat). addOption(outputformat). addOption(partitioner). addOption(numReduceTasks). addOption(inputreader). addOption(mapDebug). addOption(reduceDebug). addOption(jobconf). addOption(cmdenv). addOption(cacheFile). addOption(cacheArchive). addOption(io). addOption(background). addOption(verbose). addOption(info). addOption(debug). addOption(help). addOption(lazyOutput);
与MapReduce相关的选项是所有MapReduce应用程序的通用选项,并查看它们是否有效 mapred-default.xml中 配置变量。仅供参考:这是指Hadoop 2.8.0,因此您可能需要为您的Hadoop版本找到合适的XML。