HDFS 目录中允许的最大文件数是多少？

Question

HDFS (hadoop) 目录中允许的最大文件和目录数是多少？

Answer 1

在现代 Apache Hadoop 版本中，各种 HDFS 限制由名称中带有 fs-limits 的配置属性控制，所有这些限制都有合理的默认值。这个问题特别询问目录中子级的数量。它由 dfs.namenode.fs-limits.max-directory-items 定义，默认值为 1048576。

请参阅 中的 Apache Hadoop 文档hdfs-default.xml 获取 fs-limits 配置属性及其默认值的完整列表。为方便起见，在此处复制粘贴：

<property>
  <name>dfs.namenode.fs-limits.max-component-length</name>
  <value>255</value>
  <description>Defines the maximum number of bytes in UTF-8 encoding in each
      component of a path.  A value of 0 will disable the check.</description>
</property>

<property>
  <name>dfs.namenode.fs-limits.max-directory-items</name>
  <value>1048576</value>
  <description>Defines the maximum number of items that a directory may
      contain. Cannot set the property to a value less than 1 or more than
      6400000.</description>
</property>

<property>
  <name>dfs.namenode.fs-limits.min-block-size</name>
  <value>1048576</value>
  <description>Minimum block size in bytes, enforced by the Namenode at create
      time. This prevents the accidental creation of files with tiny block
      sizes (and thus many blocks), which can degrade
      performance.</description>
</property>

<property>
    <name>dfs.namenode.fs-limits.max-blocks-per-file</name>
    <value>1048576</value>
    <description>Maximum number of blocks per file, enforced by the Namenode on
        write. This prevents the creation of extremely large files which can
        degrade performance.</description>
</property>

<property>
  <name>dfs.namenode.fs-limits.max-xattrs-per-inode</name>
  <value>32</value>
  <description>
    Maximum number of extended attributes per inode.
  </description>
</property>

<property>
  <name>dfs.namenode.fs-limits.max-xattr-size</name>
  <value>16384</value>
  <description>
    The maximum combined size of the name and value of an extended attribute
    in bytes. It should be larger than 0, and less than or equal to maximum
    size hard limit which is 32768.
  </description>
</property>

所有这些设置都使用 Apache Hadoop 社区决定的合理默认值。通常建议用户不要调整这些值，除非在非常特殊的情况下。

Answer 2

来自 http://blog.cloudera.com/blog/2009 /02/the-small-files-problem/：

HDFS中的每个文件、目录和块都被表示为namenode内存中的一个对象，根据经验，每个对象占用150字节。因此，1000 万个文件，每个文件使用一个块，将使用大约 3 GB 的内存。对于当前的硬件来说，扩展到超出这个水平是一个问题。当然十亿个文件是不可行的。

Answer 3

块和文件存储在 HashMap 中。所以你必须使用 Integer.MAX_VALUE。
所以一个目录没有任何限制，但整个文件系统。

Answer 4

这个问题特别提到了HDFS，但一个相关的问题是在一个Hadoop集群上可以存储多少个文件。

如果您使用 MapR 的文件系统，会有不同的答案。在这种情况下，数十亿个文件可以毫无问题地存储在集群上。

Answer 5

在HDFS中，最大文件名长度为255字节。因此，关于一个文件对象仅占用 150 字节的说法是不正确或不准确的。在计算内存的字节数时，我们应该取一个对象的最大占用量。