无法使用 new[]/ C++/Linux/ x86_64 分配 2-4 Gb RAM

Question

对于这个简单的测试，以及具有 4Gb 或 RAM、0 字节交换空间和 x86_64 模式下的 CPU 的 Linux 机器，我无法分配超过 1Gb 的阵列。

来源：

#include <cstdio>
int main()
{
 for(int i=0;i<33;i++) { 
  char*a=new char[1<<i];
  *a=1;
  delete[]a; 
  printf("%d\n",i);
  fflush(stdout);
 }
}

运行：

$ file test
test: ELF 64-bit LSB executable, AMD x86-64, version 1 (SYSV)
$ ./test
...
24
25
26
27
28
29
30
terminate called after throwing an instance of 'std::bad_alloc'
  what():  St9bad_alloc
Aborted

内存没有 ulimit：

virtual memory          (kbytes, -v) unlimited
data seg size           (kbytes, -d) unlimited

为什么会出现错误？

Glibc 是 2.3.4，内核是 2.6.9

更新：编译器是 gcc4.1

谢谢！测试肯定有错误，1ull< 给我最多 31 (2gb)。这个错误是无意的。但真正失败的代码是

 for(j=0;j<2;j++)
  for(i=0;i<25;i++)
   some_array[j][i] = new int[1<<24];

这样的，真正的代码中没有符号溢出。

int 的大小为 4 个字节：

$ echo 'main(){return sizeof(int);}'| gcc -x c - && ./a.out; echo $?
4

每次请求将为 1<<24 * 4 = 1<<26；所需的总内存为 2*25*(1<<26) 3355443200 字节 + 50*sizeof(pointer) for some_array + 50*(new[] 开销的大小)。

Answer 1

C 中的裸常量是 int。有符号整数。
所以 1 << 31 是-2147483648。
因为
1<<31 = 0x10000000 = -2147483648

尝试 (size_t)1 <<我

Answer 2

编辑：我在其他答案中看到该问题很可能与传递给new[]的数字变为负值有关。我同意这很可能是这种情况，我留下这个答案只是因为我认为它包含在某些类似情况下可能相关的信息，其中问题不在于调用 new[]负数。

---

我想到的第一个问题是您是否有足够的可用内存。在 4Gb RAM 且无交换的情况下，可以分配给所有进程和内核的内存总量为 4Gb。

请注意，即使您有超过 1Gb 的内存可用于该进程，malloc 和 free（由 new[] 和delete[] 可能不会将内存返还给系统，实际上它们可能会保留每个获取/释放的块，因此程序的内存占用可能高达 2Gb (必须使用内核中的 malloc 实现来检查这一点，因为许多实现确实会返回大块）。

最后，当您请求 1Gb 的数组时，您正在请求 1Gb 的连续内存，并且它可能会。如果您有更多内存，但没有一个块足够大来满足该特定请求。

Answer 3

您系统上的 /proc/sys/vm/overcommit_memory 和 /proc/sys/vm/overcommit_ratio 的值是多少？如果您关闭了内存过度使用，您可能无法分配系统上的所有内存。打开过量使用（将 /proc/sys/vm/overcommit_memory 设置为 0）后，您应该能够在 64 位系统上分配基本上无限大小的数组（当然是 10GB）。

Answer 4

尽管通常情况下，在 64 位计算机上您有足够的地址空间来分配几 GB 的连续虚拟内存，但您正在尝试使用 new/malloc 来分配它。 New/malloc 传统上不是对任何内存的请求，而是针对使用 {s,}brk 系统调用分配的内存的特定部分，该系统调用基本上移动了末尾过程数据段。我认为您应该使用 mmap 分配如此大量的内存，这使得操作系统可以自由选择任何地址块。