关于hdfs中传输文件

Question

我需要用java代码将文件从一个hdfs文件夹传输到另一个hdfs文件夹。

请问有没有可以调用的api来在hdfs路径之间传输文件？

另外我想问是否有办法从java代码调用mapreduce作业？当然，这个java不是运行在hdfs上的。

非常感谢您，祝您周末愉快！

Answer 1

请问有没有可以调用的api来在hdfs路径之间传输文件？

使用 oahdfs.DistributedFileSystem#rename 方法将文件从 HDFS 中的一个文件夹移动到另一个文件夹。该函数已重载，并且其中一个方法采用 Options.Rename 作为参数。

仅供参考......我还没有检查代码，但我认为重命名涉及名称空间的更改，而不是任何实际的块移动。

另外我想问是否有办法从java代码调用mapreduce作业？当然，这个java没有运行在hdfs中。

Hadoop是用Java编写的，所以应该有一种方法:)使用 oahmapreduce.Job#submit 和 oahmapreduce.Job #waitForCompletion 方法。