java.io.IOException:错误= 2,Hadoop流中没有这样的文件或目录错误

发布于 2024-11-25 20:10:11 字数 331 浏览 1 评论 0 原文

请帮助解决hadoop流的“-file”选项问题(在下面的链接中提到)。只是为了更新,我知道 jar 已经在那里,在我尝试 hadoop-streaming 不同的类文件失败后,我正在尝试此操作,以便确定类文件本身或我的方式是否有问题使用它。如果您需要 stderr 文件,请告诉我。

Java 类文件的 Hadoop Streaming -file 选项出现问题< /a>.

Please help with the "-file" option issue of hadoop streaming (mentioned in the link below). just to update, I know that the jar is already there, I am trying this after I tried hadoop-streaming for a different class file which failed, so to identify if there is something wrong with the class file itself or with the way I am using it. if you need the stderr file please let me know.

Problem with Hadoop Streaming -file option for Java class files.

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

找个人就嫁了吧 2024-12-02 20:10:11

您不能真正使用 -file 来发送 jar,因为 hadoop 不支持多个 jar(不在 CLASSPATH 中),请检查 流媒体文档

至少到0.14版本,Hadoop不支持多个jar文件。因此,在指定您自己的自定义类时,您必须将它们与流媒体 jar 一起打包,并使用自定义 jar 而不是默认的 hadoop 流媒体 jar。

you can't really use -file to send over jars as hadoop doesn't support multiple jars (that were not already in the CLASSPATH), check the streaming docs:

At least as late as version 0.14, Hadoop does not support multiple jar files. So, when specifying your own custom classes you will have to pack them along with the streaming jar and use the custom jar instead of the default hadoop streaming jar.

吃不饱 2024-12-02 20:10:11

要将多个 jar 文件添加到 CLASSPATH..,您可以使用 hadoop 教程(在页面上搜索单词“libjar”)。

To add more than one jar file to the CLASSPATH.. you could use the -libjars options as specified in the hadoop tutorial (search for the word "libjar" on the page).

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文