如何在 Linux 中为内存映射文件提供写时扩展功能？

Question

我正在致力于将一些代码从 AIX 移植到 Linux。部分代码使用 shmat() 系统调用 来创建新文件。当在可写模式下与 SHM_MAP 一起使用时，可以将文件扩展到超出其原始长度（在我的情况下为零）：

当一个文件被映射到一个段上时，通过访问该段来引用该文件。内存分页系统自动处理物理 I/O。超出文件末尾的引用会导致文件以页面大小的增量进行扩展。文件不能扩展到下一个段边界之外。

（AIX 中的“段”是 256 MB 的地址空间块，“页”通常是 4 KB。）

我想要在 Linux 上执行以下操作：

• 保留一个大的-相当大的地址空间块（不一定要大到 256 MB，这些文件不是那么大）
• 设置页面保护位，以便在第一次访问未保护的页面时生成段错误之前被触碰过
• 发生页面错误时，清除“导致页面错误”位并为该页面分配提交的内存，允许导致页面错误的写入（或读取）继续进行
• 关闭共享内存区域时，将修改的页面写入文件

我知道我可以使用 VirtualProtect 函数、PAGE_GUARD 内存保护位和 结构化异常处理程序。 Linux 上的相应方法是什么？也许有更好的方法在 Linux 上实现这种写时扩展功能吗？

我已经考虑过：

• 写入了多少文件
• 使用 mmap() 和一些固定的大尺寸，但我无法判断应用程序代码分配的匿名共享内存区域 相当大的大小，但我同样无法判断有多少区域已被写入
• mmap() 本身似乎没有提供任何设施来扩展支持文件的长度

当然我会只需对应用程序代码进行最少的更改即可完成此操作。

Answer 1

这与我曾经做过的作业非常相似。基本上我有一个“页面”列表和一个“框架”列表以及相关信息。使用 SIGSEGV 我可以捕获故障并根据需要更改内存保护位。我将包含您可能会觉得有用的部分。

创建映射。最初它没有权限。

int w_create_mapping(size_t size, void **addr)
{

    *addr = mmap(NULL,
            size * w_get_page_size(),
            PROT_NONE,
            MAP_ANONYMOUS | MAP_PRIVATE,
            -1,
            0
    );

    if (*addr == MAP_FAILED) {
        perror("mmap");
        return FALSE;
    }

    return TRUE;
}

安装信号处理程序

int w_set_exception_handler(w_exception_handler_t handler)
{
    static struct sigaction sa;
    sa.sa_sigaction = handler;
    sigemptyset(&sa.sa_mask);
    sigaddset(&sa.sa_mask, SIGSEGV);
    sa.sa_flags = SA_SIGINFO;

    if (sigaction(SIGSEGV, &sa, &previous_action) < 0)
        return FALSE;

    return TRUE;
}

异常处理程序

static void fault_handler(int signum, siginfo_t *info, void *context)
{
    void *address;      /* the address that faulted */

    /* Memory location which caused fault */
    address = info->si_addr;

    if (FALSE == page_fault(address)) {
        _exit(1);
    }
}

增强保护

int w_protect_mapping(void *addr, size_t num_pages, w_prot_t protection)
{
    int prot;

    switch (protection) {
    case PROTECTION_NONE:
        prot = PROT_NONE;
        break;
    case PROTECTION_READ:
        prot = PROT_READ;
        break;
    case PROTECTION_WRITE:
        prot = PROT_READ | PROT_WRITE;
        break;
    }

    if (mprotect(addr, num_pages * w_get_page_size(), prot) < 0)
        return FALSE;

    return TRUE;
}

我无法公开提供所有这些内容，因为团队可能会再次使用相同的作业。

Answer 2

根据需要分配一个大缓冲区，然后使用 mprotect()* 系统调用使缓冲区的尾部只读，并为 SIGSEGV 注册一个信号处理程序，以记录之前的写入位置，并再次使用 mprotect()启用写入。

• http://linux.die.net/man/2/mprotect

Answer 3

我自己也考虑过类似的事情，但也没有找到任何方法让 mmap() 扩展支持文件。

目前，我计划尝试两种替代方案：

• 手动管理文件大小，自己扩展它，然后使用 mremap()
• 创建一个稀疏文件，并希望虚拟机在刷新脏页时分配所需的扇区。

老实说，我认为稀疏文件行不通，但值得一试。