HDFS到HDFS完全移动文件

作者: Moso31
发布时间: 2024-05-14 02:06:30 (2月前)
转自：

3 条回复

0#
回复此人
My☀ | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 没有办法在单个命令中执行此操作 </p> <P> hdfs dfs -rm {destination Uri}; hdfs dfs -mv {source Uri} {destination Uri} </p> <P> 将在一条线上实现这一目标。 </p> </DIV>

编辑
1#
回复此人
誓言你好 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 不是一个命令而是一个变通方法： </p> <P> 为了合并HDFS中的文件夹，我实现了一个解决方案，因为cp与数据节点上的物理数据交互，而mv只更改名称节点上的元数据。 </p> <pre> <code> for i in $(hdfs dfs -ls -R ${hdfs_src_dir} | grep "^-" | awk '{print $8}'); do i_dir=$(dirname "${i}") target_dir=${hdfs_tgt_dir}${i_dir#"$hdfs_src_dir"} hdfs dfs -mkdir -p $target_dir hdfs dfs -mv ${i} "${target_dir}"/ 2>&1 done </code> </pre> <P> 第一行以递归方式选择目标中的所有文件。然后创建目标中每个文件的路径，最后移动文件。 </p> <P> 缺点是文件夹访问权限不会移动，而是在运行时设置。 </p> </DIV>

编辑

登录后才能参与评论