为什么malloc可以比mmap分配更多的内存？

Question

我正在尝试查看可以在 64 位 Linux 上分配多少虚拟内存，当前通过 repl.it 运行 Ubuntu 。我使用一些简单的代码通过重复调用 realloc() 或 mmap() 进行实验来找到此限制。我还使用 getrlimit() 和 RLIMIT_AS 来查询操作系统的最大地址空间。

这是输出：

Soft mem limit: 17592186044415 MB
Hard mem limit: 17592186044415 MB
----------------- Using mmap() -----------------
Trying 32768 MB.. Success.
Trying 65536 MB.. Failed.
----------------- Using realloc() -----------------
Trying 32768 MB.. Success.
Trying 65536 MB.. Success.
Trying 131072 MB.. Failed.

这让我感到惊讶有几个原因，也许每个原因都应该是他们自己的问题：

1. 标题问题：Why can realloc() allocate 64GB while mmap( ) 在 32GB 之后失败？ 也许我以某种方式误用了 mmap() ？
2. 为什么不能 realloc() 或 mmap() 甚至无法接近内存限制？在 64 位进程上，我预计有数百 TB 的可用虚拟地址空间。
3. 删除 PROT_WRITE 并仅使用 PROT_READ 或 PROT_NONE 时，mmap() 设法分配最多 67108864 MB，这约为 64 TB (!)。 PROT_WRITE 如何导致分配失败？这对匿名映射有什么用处（如果有的话）？

以下是完整代码，以防提供任何见解：

#include <iostream>
#include <stdlib.h>
#include <sys/mman.h>
#include <sys/resource.h>

const size_t KB = 1024;
const size_t MB = 1024 * 1024;
const size_t GB = 1024 * 1024 * 1024;

void usingMmap(size_t size);
void usingRealloc(size_t size);

int main() {
  rlimit limit;
  getrlimit(RLIMIT_AS, &limit);
  std::cout << "Soft mem limit: " << limit.rlim_cur / MB << " MB\n";
  std::cout << "Hard mem limit: " << limit.rlim_max / MB << " MB\n";
  std::cout << "----------------- Using mmap() -----------------\n";
  usingMmap(32 * GB);
  std::cout << "----------------- Using realloc() -----------------\n";
  usingRealloc(32 * GB);
  return 0;
}

void usingRealloc(size_t size) {
  void *p = NULL;
  while (true) {
    std::cout << "Trying " << size / MB << " MB.. ";
    p = realloc(p, size);
    if (p == NULL)
      break;
    std::cout << "Success.\n";
    size *= 2;
  }
  std::cout << "Failed.\n";
  if (errno != ENOMEM)
    perror("realloc");
}

void usingMmap(size_t size) {
  void *p = NULL;
  while (true) {
    std::cout << "Trying " << size / MB << " MB.. ";
    p = mmap(NULL, size, PROT_READ | PROT_WRITE, MAP_PRIVATE | MAP_ANONYMOUS,
             -1, 0);
    if (p == MAP_FAILED)
      break;
    std::cout << "Success.\n";
    if (munmap(p, size) == -1) {
      perror("munmap");
      exit(-1);
    }
    size *= 2;
  }
  std::cout << "Failed.\n";
  if (errno != ENOMEM)
    perror("mmap");
}

请注意，向上或向下更改起始大小或仅调用 mmap() 或 malloc()< /code> 没有改变此行为。实际上，将起始值更改为 64 GB 会导致 mmap() 和 两者 code>realloc() 失败。我开始认为这更多地与每个调用一次可以处理的分配大小有关，而不是与允许进程使用多少虚拟地址空间有关。

（我知道有很多错误报告代码分散了要点；我将其保留在那里是为了证明没有任何来自 mmap()、munmap 的意外错误() 或 realloc())