将 mmap 与 popen 一起使用

Question

我需要读入并处理一堆约 40mb 的 gzip 文本文件，并且需要快速完成并以最小的 I/O 开销（因为这些卷也被其他人使用）。因此，我找到的完成此任务的最快方法如下：

def gziplines(fname): 
    f = Popen(['zcat', fname], stdout=PIPE)
    for line in f.stdout:
        yield line

然后：

for line in gziplines(filename)
    dostuff(line)

但是我想做的（如果这更快？）是这样的：

def gzipmmap(fname): 
    f = Popen(['zcat', fname], stdout=PIPE)
    m = mmap.mmap(f.stdout.fileno(), 0, access=mmap.ACCESS_READ)
    return m

遗憾的是，当我尝试这个时，我收到此错误：

>>> m = mmap.mmap(f.stdout.fileno(), 0, access=mmap.ACCESS_READ)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
mmap.error: [Errno 19] No such device

尽管如此，当我尝试时：

>>> f.stdout.fileno()
4

所以，我认为我对这里发生的事情有一个基本的误解。 :(

这两个问题是：

1）这个 mmap 是将整个文件放入内存进行处理的更快方法吗？

2）我怎样才能做到这一点？

非常感谢...这里的每个人都已经提供了令人难以置信的帮助！ ～尼克

Answer 1

来自 mmap(2) 手册页：

 ENODEV 指定文件的底层文件系统不支持
          端口内存映射。

您不能映射流，只能映射真实文件或匿名交换空间。您需要自己将流读入内存。

Answer 2

管道不可映射。

case MAP_PRIVATE:
      ...
if (!file->f_op || !file->f_op->mmap)
        return -ENODEV;

并且pipe的文件操作不包含mmap钩子。