Hadoop成功启动后，在执行mapred时却不能运行任务

Question

@逝水fox 你好，想跟你请教个问题：我是在windows xp上通过cygwin软件，运行hadoop的。。跟上次的问题一样，在你说的设置tmp文档后，任然不能执行任务。。提示的错误和上次相同  http://www.oschina.net/question/270821_62054.   我的hadoop、cygwin都安装在d盘的。。tmp目录也一直存在~就是在tmp目录：SYSTEM/mapred/local/taskTracker/jobcache/的jobcache上没有文件。 （SYSTEM/mapred/local/taskTracker/jobcache/job_201207241242_0001/attempt_201207241242_0001_m_000025_0/work/t）mp ）does not exist.

请问该怎么处理？

Answer 1

一直提示找不到那个文件~在这边文章中http://hi.baidu.com/fengvsjinglove/item/15615cc503c7827f88ad9e7e 试了下他的方法，结果也是不行~刚开始执行任务时，那个文件夹SYSTEM/mapred/local/taskTracker/jobcache/的jobcache下还有文件，运行一段时间就没有了~变成空文件了~

Answer 2

系统配置应该没问题的，能正常启动的~在ubuntu下，半年前，我已经做成功了。现在在试windows下的运行~

Answer 3

附当时做的简易配置笔记(伪分布模式)，在0.21和1.0上都测试过能正常使用，系统用的Frdora，也在Redhat上按照这个装过。

1. /etc/profile中添加环境变量HADOOP_HOME以及为PATH添加上$HADOOP_HOME/bin

2. $HADOOP_HOME/conf下几个文件的修改

core-site.xml注意hadoop.tmp.dir指定的目录对应的执行用户必须要有权限读写，必须设置否则默认在/tmp系统重启后会丢失需要重新初始化
fs.default.name指定默认的文件系统前缀，这样可以直接在命令里面用路径表示而不用写成URL的形式

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost/</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/db/data/hdfs-data</value>
    </property>
</configuration>

hdfs-site.xml，dfs.replication指定数据块的copy数，默认好像是3，因为是单机的伪分布模式，改成1

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <!-- <property>
        <name>dfs.http.address</name>
        <value>localhost:50070</value>
    </property> -->
</configuration>

mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:8021</value>
    </property>
</configuration>

最后改一下conf下的hadoop-env.sh设置好JAVA_HOME

export JAVA_HOME=/tools/jdk1.7

3. 上面配置完成后(省略创建独立的系统用于来执行hadoop的过程和SSH配置，直接用root来也可以)

执行 hadoop namenode -format 初始化namenode

然后执行start-all.sh（hadoop的bin目录下，启动即可）

启动后jps结果应该类似(低版本可能没有SecondaryNameNode)

[hadoop@fox  hadoop]$ jps
3114 TaskTracker
3233 Jps
2968 JobTracker
2877 SecondaryNameNode
2725 DataNode
2601 NameNode

 检查执行

hadoop fs -ls hdfs://localhost/   和  hadoop fs -ls / 输出正常

Answer 4

没试过Windows上的，我觉得最好找个Linux装，虚拟机都好