为什么调用大尺寸的 mmap() 不会失败？

Question

我尝试使用 mmap() 来操作虚拟内存。我想保留并提交一个内存区域。我测试了这段代码：

const unsigned long gygabyte = 1024 * 1024 * 1024;
const unsigned long gygabyteCount = 2;
const unsigned long maxCapacity = gygabyteCount * gygabyte;

int main()
{
    char* pMemory;

    pMemory = (char*)mmap(NULL, maxCapacity, PROT_NONE, MAP_PRIVATE | MAP_ANONYMOUS, -1, 0);
    if ( mprotect(pMemory, maxCapacity, PROT_READ | PROT_WRITE) != 0 )
    {
        cout << "Memory Allocation has failed" << endl;
    }
    usleep(-1);

    return 0;
}

我从终端运行了程序的多个副本（比如 6 个）。我从未在任何一处看到“内存分配失败”。我正在 64 位 Ubuntu 上运行，内存为 4GB。谁能告诉我一些关于这个的事情吗？

Answer 1

mmap 保留进程虚拟地址空间的一个区域，但不会立即为其分配物理 RAM。因此，在 64 位平台上，您可以保留大量数据而不会失败（尽管您仍然需要检查失败；您的示例代码不需要）。 RAM 的物理页稍后在访问内存时分配。

mprotect 只是改变保留内存的读/写访问权限；它也不会将其驻留在 RAM 中。通过传递 PROT_READ | 可以获得相同的效果。 PROT_WRITE 而不是 PROT_NONE 到 mmap，并删除对 mprotect 的调用。

如果您需要立即将内存驻留在 RAM 中，请使用 mlock 来实现。如果没有足够的可用 RAM，它将失败。在许多 Linux 平台（包括 Ubuntu）上，存在资源限制 (RLIMIT_MEMLOCK)，它限制任何进程可以锁定的内存量；您可以使用ulimit -l 进行调整。

Answer 2

mmap 对于准备所需内存的映射很有用，但它不会将其分配给您的程序。当您访问内存时，内核会负责分配内存，因此如果您不同时访问这 8GB，则可以在 4GB 内存上使用 mmap-ing 8 GB。

Answer 3

您应该首先检查 mmap 的结果。如果返回MAP_FAILED，则表示分配失败。内核实际上不会一次分配这么多内存，而是在访问该块的相应区域时按需映射物理或交换空间。

在您的特定情况下，您不需要单独调用 mprotect，因为可以在调用 mmap 时为整个区域传递这些标志：

pMemory = mmap(NULL, maxCapacity,
    PROT_READ | PROT_WRITE, MAP_PRIVATE | MAP_ANONYMOUS, -1, 0);

if (pMemory == MAP_FAILED) {
    /* allocation failed */
}

Answer 4

首先，你必须告诉 Linux 你希望它进行提交统计：

echo "2" > /proc/sys/vm/overcommit_memory

否则它会保留传统的默认设置（从 Linux 还是一个玩具操作系统时开始），即允许无限制的过度使用，并使你的应用程序在物理内存耗尽时严重崩溃。

另外，正如其他人所说，您需要根据 MAP_FAILED 检查 mmap 的返回值，并且不需要使用 mprotect。首先，只需将 PROT_* 的正确值传递给 mmap 即可。