Python mmap ctypes - 只读

Question

我认为我遇到了此处所述的相反问题。我有一个进程将数据写入日志，我希望第二个进程读取它，但我不希望第二个进程能够修改内容。这可能是一个大文件，我需要随机访问，所以我使用 python 的 mmap 模块。

如果我将 mmap 创建为读/写（对于第二个进程），则使用 from_buffer 创建 ctypes 对象作为 mmap 对象的“视图”没有问题。粗略地看了一下c代码，看起来这是一个强制转换，而不是一个副本，这正是我想要的。但是，如果我将 mmap 设为 ACCESS_READ，则会中断，并抛出 from_buffer 需要写入权限的异常。

我认为我想改用 ctypes from_address() 方法，它似乎不需要写访问权限。我可能错过了一些简单的东西，但我不确定如何获取 mmap 中的位置地址。我知道我可以使用 ACCESS_COPY （因此写入操作显示在内存中，但不会持久保存到磁盘），但我宁愿将内容保留为只读。

有什么建议吗？

Answer 1

好吧，从查看 mmap .c 代码来看，我不相信它支持这个用例。另外，我发现对于我的用例来说，性能非常糟糕。我很好奇其他人会看到什么样的性能，但我发现用 Python 遍历一个 500 MB 的二进制文件大约需要 40 秒。这是创建一个 mmap，然后使用 from_buffer() 将位置转换为 ctype 对象，并使用 ctypes 对象来破译该对象的大小，以便我可以进入下一个对象。我尝试直接在 msvc 的 c++ 中做同样的事情。显然，在这里我可以直接转换为正确类型的对象，而且速度很快 - 不到一秒（这是使用 core 2 四核和 SSD）。

我确实发现我可以通过以下方式获取指针

firstHeader = CEL_HEADER.from_buffer(map, 0) #CEL_HEADER is a ctypes Structure
pHeader = pointer(firstHeader)
#Now I can use pHeader[ind] to get a CEL_HEADER object 
#at an arbitrary point in the file

这并不能解决最初的问题 - mmap 不是只读的，因为我仍然需要在第一次调用时使用 from_buffer 。在此配置中，处理整个文件仍然需要大约 40 秒，因此看起来从指针到 ctypes 结构的转换正在降低性能。这只是一个猜测，但我认为进一步追踪它没有多大价值。

我不确定我的计划是否对其他人有帮助，但我将尝试根据 mmap 代码创建特定于我的需求的 ac 模块。我想我可以使用快速 C 代码处理来索引二进制文件，然后通过调用 ctypes/python 对象一次仅公开文件的一小部分。祝我好运。

另外，作为旁注，Python 2.7.2 今天发布（2011 年 6 月 12 日），其中一项更改是对 mmap 代码的更新，以便您可以使用 python long 来设置文件偏移量。这使您可以在 32 位系统上对超过 4GB 的文件使用 mmap。请参阅问题 #4681 此处

Answer 2

遇到了同样的问题，我们需要 from_buffer 接口并且想要只读访问权限。来自python文档 https://docs.python.org/3/library/mmap。 html “分配给 ACCESS_COPY 内存映射会影响内存，但不会更新底层文件。”
如果您可以接受使用匿名文件支持，则可以使用 ACCESS_COPY

示例：打开两个 cmd.exe 或终端，然后在一个终端中：

mm_file_write = mmap.mmap(-1, 4096, access=mmap.ACCESS_WRITE, tagname="shmem")
mm_file_read = mmap.mmap(-1, 4096, access=mmap.ACCESS_COPY, tagname="shmem")

write = ctypes.c_int.from_buffer(mm_file_write)
read = ctypes.c_int.from_buffer(mm_file_read)
try:
    while True:
        value = int(input('enter an integer using mm_file_write: '))
        write.value = value
        print('updated value')
        value = int(input('enter an integer using mm_file_read: '))
        #read.value assignment doesnt update anonymous backed file
        read.value = value
        print('updated value')
except KeyboardInterrupt:
    print('got exit event')

在另一个终端中执行：

mm_file = mmap.mmap(-1, 4096, access=mmap.ACCESS_WRITE, tagname="shmem")
i = None
try:
    while True:
        new_i = struct.unpack('i', mm_file[:4])
        if i != new_i:
            print('i: {} => {}'.format(i, new_i))
            i = new_i
        time.sleep(0.1)
except KeyboardInterrupt:
    print('Stopped . . .')

您将看到，当第一个进程使用 ACCESS_COPY 写入

Answer 3

我遇到了类似的问题（无法设置只读 mmap），但我只使用 python mmap 模块。 Linux 上的 Python mmap“权限被拒绝”

我不确定它是既然您不希望 mmap 是私有的，对您有什么帮助吗？