伪分布式模式下设置mapred.map.tasks时出错

Question

正如此处所建议的，我正在运行hadoop在伪分布式模式下使用以下 mapred-site.xml 文件。该作业在 4 核机器上运行。

<configuration>
   <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>  
   </property>
   <property>
     <name>mapred.map.tasks</name> 
     <value>4</value> 
  </property>
  <property>
     <name>mapred.reduce.tasks</name> 
     <value>4</value> 
  </property>

</configuration>

我收到以下错误：

报告区块比例1.0000已达到阈值0.9990。

这是什么原因呢。如何解决这个问题？

Answer 1

这不是问题，而是hadoop启动过程中的正常过程。

安全模式是 HDFS 的一种状态，其中文件系统以只读方式挂载；不执行复制，也不能创建或删除文件。这是在 NameNode 启动时自动输入的，以便在 NameNode 确定哪些块复制不足等之前，允许所有 DataNode 有时间与 NameNode 签入并宣布它们持有哪些块。

您还可以查看什么是安全模式 在此页面。

NameNode 会等待特定百分比的块出现并被占用，该百分比默认由 hdfs-default.xml 中的 dfs.safemode.threshold.pct 参数设置。但您可以在 hdfs-site.xml 中更改它。

所以

<property>
  <name>dfs.safemode.threshold.pct</name>
  <value>0.999f</value>
  <description>
    Specifies the percentage of blocks that should satisfy 
    the minimal replication requirement defined by dfs.replication.min.
    Values less than or equal to 0 mean not to wait for any particular
    percentage of blocks before exiting safemode.
    Values greater than 1 will make safe mode permanent.
  </description>
</property>

你会看到日志以 0.9990 结尾

The ratio of reported blocks 1.0000 has reached the threshold 0.9990.