单机模式下运行Hadoop示例程序报错

发布于 2022-08-23 09:54:30 字数 1043 浏览 19 评论 2

环境:Windows7+Cygwin+Hadoop 0.20.203.0
配置:单机模式

运行命令:hadoop jar hadoop-examples-0.20.203.0.jar grep input output 'dfs[a-z.]+'

查看日志,发现是TaskTracker的问题,好像刚开始用bin/start-all.sh后,tasktracker就没有成功启动,说tmp目录权限的问题,如下所示:

2011-06-08 16:32:18,157 ERROR org.apache.hadoop.mapred.TaskTracker: Can not start task tracker because java.io.IOException: Failed to set permissions of path: /tmp/hadoop-Administrator/mapred/local/taskTracker to 0755
	at org.apache.hadoop.fs.RawLocalFileSystem.checkReturnValue(RawLocalFileSystem.java:525)
	at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:507)
	at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:318)
	at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:183)
	at org.apache.hadoop.mapred.TaskTracker.initialize(TaskTracker.java:630)
	at org.apache.hadoop.mapred.TaskTracker.<init>(TaskTracker.java:1328)
	at org.apache.hadoop.mapred.TaskTracker.main(TaskTracker.java:3430)

各位你们都遇见过这个问题过吗?怎么解决的,谢谢!

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

弥繁 2022-08-27 05:33:27

jobtracker 的文件权限必须是755 否则无法启动。

改权限即可

北座城市 2022-08-26 23:12:25

这里有关于这个问题的讨论
http://comments.gmane.org/gmane.comp....

似乎到最后他们也没有发现问题所在,但是可以确定的是跟版本有问题,如果你用上一个版本,比如0.20.2就没有这个问题,可能是这个版本的一个bug

在这里也有讨论
http://bbs.hadoopor.com/thread-3303-1...

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文