在Python中读取二进制文件：读取某些字节需要很长时间

Question

这很奇怪，

我正在使用 Python 中的 numpy 库读取一些（诚然非常大：每个约 2GB）二进制文件。 我正在使用：

thingy = np.fromfile(fileObject, np.int16, 1)

方法。 这是在嵌套循环的中间 - 我每个“通道”执行此循环 4096 次，此“通道”为每个“接收器”循环 9 次，此“接收器”循环 4 次（有 9 个通道）每个接收器，其中有 4 个！）。这适用于每个“块”，其中每个文件大约有 3600 个。

所以你可以看到，非常迭代，我知道这会花费很长时间，但它花费的时间比我预期的要长得多 - 每个“块”平均需要 8.5 秒。

我使用 time.clock() 等运行了一些基准测试，发现一切都按照应有的速度进行，除了每个“块”大约 1 或 2 个样本（因此 4096*9*4 中的 1 或 2 个样本）之外“卡住”几秒钟。现在这应该是从二进制返回一个简单的 int16 的情况，而不是应该花费几秒钟的时间......为什么它会粘在一起？

从基准测试中，我发现它每次都卡在同一个位置（块 2、接收器 8、通道 3、样本 1085 是其中之一，郑重声明！），并且它会卡在那里大约相同的时间量。每次运行的时间。

有什么想法吗？

谢谢，

邓肯

Answer 1

尽管没有某种可重现的样本很难说，但这听起来像是一个缓冲问题。第一部分是缓冲的，直到到达缓冲区的末尾为止，它的速度很快；然后它会减慢速度，直到下一个缓冲区被填满，依此类推。

Answer 2

您将结果存储在哪里？当列表/字典/任何东西变得非常大时，需要重新分配和调整大小时可能会出现明显的延迟。

Answer 3

难道是垃圾收集正在启动列表？

补充：这是有趣的数据，还是 blockno ？如果你按照随机顺序读取这些块，会发生什么

r = range(4096)
random.shuffle(r)  # inplace
for blockno in r:
    file.seek( blockno * ... )
    ...