带附加功能的 HDFS 是如何工作的

Question

假设一个文件使用默认块大小 (128 MB)，并且有一个文件使用 130 MB；因此使用 1 个全尺寸块和 1 个 2 MB 块。然后需要将 20 MB 附加到文件中（现在总计应为 150 MB）。会发生什么？

HDFS 实际上是否将最后一个块的大小从 2MB 调整为 22MB？或者创建一个新块？

向 HDFS 中的文件追加内容如何处理并发性？ 是否存在数据丢失的风险？

HDFS是否创建第三个块，将20+2MB放入其中，并删除2MB的块。如果是，它是如何同时工作的？

Answer 1

根据最新设计文档中的Jira 问题 前面提到，我们找到您问题的以下答案：

1. HDFS 将附加到最后一个块，< em>不创建一个新块并从旧的最后一个块复制数据。这并不困难，因为 HDFS 只是使用普通文件系统将这些块文件作为普通文件写入。普通文件系统具有附加新数据的机制。当然，如果你填满了最后一个区块，你就会创建一个新的区块。
2. HDFS 中只允许同时对任何文件进行一次写入或追加，因此无需处理并发。这是由名称节点管理的。如果您希望其他人开始写入文件，则需要关闭该文件。
3. 如果文件中的最后一个块没有被复制，追加将会失败。追加被写入单个副本，该副本将其通过管道传输到副本，类似于正常写入。在我看来，与正常写入相比，不存在额外的数据丢失风险。

Answer 2

这是一个非常全面的关于追加的设计文档，它包含并发性问题。

当前的 HDFS 文档给出了链接到该文档，因此我们可以假设它是最新的。 （文档日期为 2009 年）

以及相关的问题。

Answer 3

Hadoop 分布式文件系统支持附加到文件，在这种情况下，它应该将 20 MB 添加到示例中的第二个块（最初包含 2 MB 的块）。这样您最终将得到两个块，一个具有 128 MB，另一个具有 22 MB。

This是HDFS附加java文档的参考。