如何判断 hadoop namenode 是否已经格式化？

Question

当第一次配置我的 hadoop namenode 时，我知道我需要运行，

bin/hadoop namenode -format

但是在将数据加载到 HDFS 后第二次运行它，将清除所有内容并重新格式化。有没有一种简单的方法可以判断名称节点是否已经格式化？

Answer 1

那么你可以检查这个文件
store1/name/current/VERSION

如果存在则已格式化。

PS：在生产系统中，您一生中只需要格式化一次。最好在安装过程中执行或在紧急恢复时手动执行。

Answer 2

是的，使用该命令格式化 Namenode

hadoop namenode -format

会将 Namenode 重置为干净的状态，擦除所有现有元数据并创建一个新的空文件系统结构。

如果您以交互方式运行该命令并且 Namenode 已格式化，系统将提示您选择是否要继续，并显示如下消息：

Re-format filesystem in Storage Directory root= /tmp/hadoop-root/dfs/name; location= null ? (Y or N) 

目录 /tmp/hadoop-root/dfs/name shown提示符中是Namenode的目录，说明Namenode已经格式化了。

但是通过以非交互方式运行命令，

hdfs namenode -format -nonInteractive

Namenode 将会被格式化，即使它已经被格式化。

确保Namenode不会无意中重新格式化的一种方法是将dfs.reformat.disabled设置为true

<property>
    <name>dfs.reformat.disabled</name>
    <value>false</value>
    <description>
      Disable reformat of NameNode. If it's value is set to "true"
      and metadata directories already exist then attempt to format NameNode
      will throw NameNodeFormatException.
    </description>
  </property>

（dfs.reformat.disabled默认情况下为 false - 请参阅 https://hadoop.apache.org/.../hdfs-default.xml)

补充 @thejaswi-r的回答，您可以检查目录dfs.namenode.name.dir是否存在（这是默认 file://${hadoop.tmp.dir} /dfs/name 其中 hadoop.tmp.dir 是 默认 /tmp/hadoop-${user.name} 和 user.name 是启动/拥有 DFS 的用户，通常是 hdfs）。

简而言之，您可以使用此命令检查Namenode是否已使用bash命令进行格式化

[[ -d $(hdfs getconf -confKey hadoop.tmp.dir)/dfs/name ]] && echo "formatted"

（hdfs getconf -confKey hadoop.tmp.dir返回hadoop.tmp.dir的计算值）

此时，如果您知道自己在做什么，则可以使用选项-force

hdfs namenode -format -nonInteractive -force 

来格式化Namenode，即使dfs.reformat.disabled为true 。