MATLAB - 删除二进制文件的元素而不加载整个文件

Question

这可能是一个愚蠢的问题，但 Google 和 MATLAB 文档让我失望了。我有一个相当大的二进制文件（> 10 GB），我需要打开并删除最后四千万字节左右。有没有办法做到这一点，而无需将整个文件分块读取到内存中并将其打印到新文件中？生成该文件花了 6 个小时，所以我一想到要重新阅读整个内容就感到畏缩。

编辑：

该文件的大小为 14,440,000,000 字节。我需要把它削减到 14,400,000,000。

Answer 1

Matlab 中没有 ftruncate()，但您可以访问 Matlab 中嵌入的 JVM 中的完整 Java 标准库，并且可以使用 java.io.RandomAccessFile 或 Java NIO 类来截断文件。

下面是一个 Matlab 函数，它调用 Java 来删除文件的最后 n 个字节。应具有最小的 I/O 成本。

function remove_last_n_bytes_from_file(file, n)

jFile = java.io.RandomAccessFile(file, 'rw');
currentLength = jFile.length();
wantLength = currentLength - n;
fprintf('Truncating file %s: Resizing to %d to remove %d bytes\n', file, wantLength, n);
jFile.setLength(wantLength);
jFile.close();

你也可以把它当作一句台词来做。

java.io.RandomAccessFile('/path/to/my/file.bin', 'rw').setLength(n);

Answer 2

我发现 Perl 比 MATLAB 执行此操作要快得多。

以下是 Perl Cookbook 中的两个示例：

truncate(HANDLE, $length)
    or die "Couldn't truncate: $!\n";

truncate("/tmp/$.pid", $length)
    or die "Couldn't truncate: $!\n";

您可以使用以下命令从 MATLAB 运行 Perl 脚本 ： PERL 函数。

Answer 3

由于您不想将文件读入 MATLAB（可以理解），因此您正在处理系统级命令。 MATLAB 具有使用“system”命令调用系统命令的功能

system

因此，现在您的问题已简化为在操作系统中找到可以为您完成此操作的 shell 命令。或者您可以使用 truncate() (unix -- KennyTM) 或 SetEndOfFile (windows) 编写程序

Answer 4

我不知道 MATLAB 是否支持此功能，但请参阅 ftruncate() 和truncate()。