使用FileInputFormat.addInputPaths递归添加HDFS路径

Question

我有一个 HDFS 结构，类似于

a/b/file1.gz
a/b/file2.gz
a/c/file3.gz
a/c/file4.gz

我使用经典模式

FileInputFormat.addInputPaths(conf, args[0]);

来设置 java map reduce 作业的输入路径。

如果我将 args[0] 指定为 a/b，则效果很好，但如果我仅指定 a，则它会失败（我的目的是处理所有4 个文件）

错误是

Exception in thread "main" java.io.IOException: Not a file: hdfs://host:9000/user/hadoop/a

如何递归添加 a 下的所有内容？

我一定错过了一些简单的东西......

Answer 1

正如 Eitan Illuz 提到的此处，在 Hadoop 2.4.0 中引入了 mapreduce.input.fileinputformat.input.dir.recursive 配置属性，当设置为 true 时，指示输入格式以递归方式包含文件。

在 Java 代码中，它看起来像这样：

Configuration conf = new Configuration();
conf.setBoolean("mapreduce.input.fileinputformat.input.dir.recursive", true);
Job job = Job.getInstance(conf);
// etc.

我一直在使用这个新属性，发现它运行良好。

编辑：更好的是，在 FileInputFormat 上使用这个新方法可以达到相同的结果：

Job job = Job.getInstance();
FileInputFormat.setInputDirRecursive(job, true);

Answer 2

这是当前版本的 Hadoop 中的一个错误。这是相同的 JIRA 。仍处于打开状态。要么在代码中进行更改并构建二进制文件，要么等待在即将发布的版本中修复它。可以打开/关闭文件的递归处理，请检查 JIRA 附带的补丁以了解更多详细信息。