我有一个OOZIE调度程序,我在其中编写了一些UNIX命令,它将在unix框中将文件从一个文件夹移动到另一个文件夹。
但它在OOZIE中没有工作,每次都会抛出错误’……
当您运行Oozie作业时,在内部它将是一个map-reduce作业,并且作业将在任何数据节点上运行,在该数据节点中,它将在该特定数据节点中查找要移动的文件。如果该datanode没有该文件,则会抛出未找到的路径。
相同的代码适用于不在多节点群集上的单个群集。
您可以使用Hadoop命令(copyFromLocal或put)来加载数据,也可以使用Flume加载数据。