如何使用Hadoop API copyMerge功能？ addString 参数是什么？

发布于 2024-12-08 11:13:17 字数 546 浏览 0 评论 0原文

有谁知道或使用过 Hadoop API 中的 copyMerge 函数 - FileUtil？

copyMerge(FileSystem srcFS, Path srcDir, FileSystem dstFS, Path dstFile, boolean deleteSource, Configuration conf, String addString);

函数中，addString参数是什么？如何设置这些文件的合并方式？示例我有零件号 1,2,3,4,5...，我想将它们按升序合并到一个文件中，我该怎么做？

有关 API 的详细信息： http://archive.cloudera.com/cdh/3/hadoop-0.20.2+320/api/org/apache/hadoop/fs/FileUtil.html

谢谢！

原文

Does anyone know or have used copyMerge function in Hadoop API - FileUtil?

copyMerge(FileSystem srcFS, Path srcDir, FileSystem dstFS, Path dstFile, boolean deleteSource, Configuration conf, String addString);

In the function, what is the addString parameter? How do I set how those files are merged? Example I have part number 1,2,3,4,5..., I want to combine them into one file in ascending order, how can I do it?

Detail about the API: http://archive.cloudera.com/cdh/3/hadoop-0.20.2+320/api/org/apache/hadoop/fs/FileUtil.html

Thanks!

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

泼猴你往哪里跑 2024-12-15 11:13:17

看起来 addString 刚刚写入 FileUtil class

if (addString!=null)
    out.write(addString.getBytes("UTF-8"));
}

当没有文档时，源代码是详细信息的真实且最佳来源。我写了几篇关于如何设置 Git 的文章此处和此处。 Git 有助于更快、更轻松地访问代码。

Looks like the the addString is just written to the OutputStream in the FileUtil class

if (addString!=null)
    out.write(addString.getBytes("UTF-8"));
}

When there is no documentation, source code is the true and best source for details. I have written a few articles on how to setup Git here and here. Git helps for faster and easier access to the code.

回复收藏 0 原文

~没有更多了~