将二进制文件中的矩阵映射到 Perl

Question

我有一个带有矩阵的 14 MB 文件，采用原始二进制格式。 我想吸食它并拥有类似数组的数组之类的东西，这样我就可以读取一些值。 我希望找到一些神奇的 Perl 模块，考虑到矩阵的大小，它可以为我完成所有工作:)

但我找不到它，我怀疑我只是错过了一种更明显的方法。 PDL::IO::FlexRaw 接近我需要的，尽管我对 F77 添加的奇怪字符的警告有点困惑。

该矩阵位于二进制文件中，采用原始格式，采用 64 位浮点数。 二进制文件的前八个字节是矩阵的第一个“单元”(1,1)。 接下来的八个字节是第二个单元格 (2,1)。 它没有页眉和页脚。 我知道它的尺寸，所以我可以告诉模块“每 64000 字节有一行”。

我正在查看 tie::mmapArray，但我不知道是否可以使其工作。 也许我更好地使用 lseek() 来回查找我需要的八个字节，然后 unpack() 它？

最好的方法是什么？

Answer 1

除非内存紧张，否则只需读入整个文件即可。

$size = -s $filename;
open(DATA, $filename);
sysread DATA, $buffer, $size;
@floats = unpack("d*", $buffer);
$float2x1 = $floats[ 2 + (1-1)*$width ];

这应该访问 (2,1)。 （不过我没有测试它......）

编辑：

好的，低内存版本：

use Sys::Mmap;
new Sys::Mmap $buffer, -s $filename, $filename or die $!;
$float2x1 = unpack("d", substr($buffer,8*( (2-1) + (1-1)*$width ),8));

只需要来自 CPAN 的 Sys::Mmap 。

Answer 2

查看 pack 和 unpack （尤其是 unpack）可能会让您走上正轨，看看 b 格式。

Answer 3

如果不知道文件的结构，任何图书馆怎么可能希望读取它呢？ 如果它是某种标准化矩阵二进制格式，那么您可以尝试搜索 CPAN 来查找。 否则，我猜你必须自己做这项工作。

假设它不是一个 稀疏矩阵，它可能只是读取维度的问题，然后以适当大小的块读取。