Spark迭代HDFS目录

作者: 春风助手
发布时间: 2024-12-19 07:56:20 (26天前)

2 条回复

1#
回复此人
只怕再见是故人 | 2020-08-14 12-11

您可以使用org.apache.hadoop.fs.FileSystem。特别，FileSystem.listFiles([path], true) 还有Spark ... ``` FileSystem.get(sc.hadoopConfiguration).listFiles(..., true) ``` 编辑值得注意的是，好的做法是获取FileSystem与Path方案相关联的。 ``` path.getFileSystem(sc.hadoopConfiguration).listFiles(path, true) ```

编辑

登录后才能参与评论