是否可以将数据添加到文件而不重写？

Question

我处理非常大的二进制文件（每个文件几个 GB 到多个 TB）。这些文件以旧格式存在，升级需要将标头写入文件的前面。我可以创建一个新文件并重写数据，但有时这可能需要很长时间。我想知道是否有任何更快的方法来完成此升级。该平台仅限于 Linux，我愿意使用低级函数（ASM、C、C++）/文件系统技巧来实现这一点。主要库是Java，JNI是完全可以接受的。

Answer 1

没有通用的方法可以在本地执行此操作。

也许某些文件系统提供了一些函数来执行此操作（无法给出任何提示），但是您的代码将依赖于文件系统。

---

解决方案可能是模拟文件系统：您可以将数据存储在一组多个文件中，然后提供一些函数来打开、读取和写入数据，就好像它是单个文件一样。

Answer 2

听起来很疯狂，但是如果可以更改从文件读取数据的功能，您可以以相反的顺序存储文件数据。在这种情况下，您可以在文件末尾附加数据（以相反的顺序）。这只是一个总体想法，所以我不能推荐任何特别的东西。
反转当前文件的代码如下所示：

 std::string records;
 ofstream out;
std::copy( records.rbegin(), records.rend(), std::ostream_iterator<string>(out));

Answer 3

这取决于“文件系统技巧”的含义。如果您愿意了解文件系统的磁盘格式，并且您要添加的标头大小是文件系统块大小的倍数，那么您可以编写直接操作文件系统磁盘结构的程序（未安装文件系统）。

这个企业就像听起来一样毛茸茸的——只有当你有数百个这样的巨大文件需要处理时，它才可能是值得的。

Answer 4

我只会使用标准的 Linux 工具来完成它。
编写另一个应用程序来执行此操作似乎不是最佳选择。

cat headerFile oldFile > tmpFile && mv tmpFile oldFile

Answer 5

我知道这是一个老问题，但我希望这对将来的人有所帮助。与模拟文件系统类似，您可以简单地使用命名管道：

mkfifo /path/to/file_to_be_read
{ echo "HEADER"; cat /path/to/source_file; } > /path/to/file_to_be_read

然后，针对 /path/to/file_to_be_read 运行遗留程序，输入将是

HEADER
contents of /path/to/source_file
...

：只要程序按顺序读取文件并且不执行超过缓冲区的 mmap() 或 rewind() 操作，就会起作用。