为什么 realloc 会消耗大量内存？

Question

由于源代码，这个问题有点长，我试图尽可能简化。请耐心等待，感谢您的阅读。

我有一个应用程序，它的循环可能会运行数百万次。我不想在该循环中进行数千到数百万次 malloc/free 调用，而是希望预先执行一次 malloc，然后进行数千次调用数百万次 realloc 调用。

但当我使用 realloc 时，我遇到了一个问题，即我的应用程序消耗了几 GB 内存并自行终止。如果我使用malloc，我的内存使用情况就很好。

如果我使用 valgrind 的 memtest 在较小的测试数据集上运行，它会报告 malloc 或 realloc 没有内存泄漏。

我已经验证我将每个 malloc-ed（然后是 realloc-ed）对象与相应的 free 相匹配。

所以，从理论上讲，我没有泄漏内存，只是使用 realloc 似乎消耗了我所有的可用 RAM，我想知道为什么以及我可以采取什么措施来解决这个问题。

我最初拥有的是这样的东西，它使用 malloc 并正常工作：

Malloc code

void A () {
    do {
        B();
    } while (someConditionThatIsTrueForMillionInstances);
}

void B () {
    char *firstString = NULL;
    char *secondString = NULL;
    char *someOtherString;

    /* populate someOtherString with data from stream, for example */

    C((const char *)someOtherString, &firstString, &secondString);

    fprintf(stderr, "first: [%s] | second: [%s]\n", firstString, secondString);

    if (firstString)
        free(firstString);
    if (secondString)
        free(secondString);
}

void C (const char *someOtherString, char **firstString, char **secondString) {
    char firstBuffer[BUFLENGTH];
    char secondBuffer[BUFLENGTH];

    /* populate buffers with some data from tokenizing someOtherString in a special way */

    *firstString = malloc(strlen(firstBuffer)+1);
    strncpy(*firstString, firstBuffer, strlen(firstBuffer)+1);

    *secondString = malloc(strlen(secondBuffer)+1);
    strncpy(*secondString, secondBuffer, strlen(secondBuffer)+1);
}

这工作正常。但我想要更快的东西。

现在我测试一个 realloc 安排，其中 malloc-s 仅一次：

Realloc code

void A () {
    char *firstString = NULL;
    char *secondString = NULL;

    do {
        B(&firstString, &secondString);
    } while (someConditionThatIsTrueForMillionInstances);

    if (firstString)
        free(firstString);
    if (secondString)
        free(secondString);
}

void B (char **firstString, char **secondString) {
    char *someOtherString;

    /* populate someOtherString with data from stream, for example */

    C((const char *)someOtherString, &(*firstString), &(*secondString));

    fprintf(stderr, "first: [%s] | second: [%s]\n", *firstString, *secondString);
}

void C (const char *someOtherString, char **firstString, char **secondString) {
    char firstBuffer[BUFLENGTH];
    char secondBuffer[BUFLENGTH];

    /* populate buffers with some data from tokenizing someOtherString in a special way */

    /* realloc should act as malloc on first pass through */

    *firstString = realloc(*firstString, strlen(firstBuffer)+1);
    strncpy(*firstString, firstBuffer, strlen(firstBuffer)+1);

    *secondString = realloc(*secondString, strlen(secondBuffer)+1);
    strncpy(*secondString, secondBuffer, strlen(secondBuffer)+1);
}

如果我查看 free -m 的输出当我使用导致百万循环条件的大型数据集运行基于 realloc 的测试时，在命令行上运行此测试时，我的内存从 4 GB 降至 0，并且应用程序崩溃。

使用 realloc 导致此问题时，我缺少什么？抱歉，如果这是一个愚蠢的问题，并提前感谢您的建议。

Answer 1

如果调整大小操作无法就地完成，realloc 必须将旧缓冲区的内容复制到新缓冲区。如果您不需要保留原始内存，malloc/free 对可能比 realloc 更好。

这就是为什么 realloc 可能暂时比 malloc/free 对需要更多内存。您还通过不断交错 realloc 来鼓励碎片化。即，您基本上在做：

malloc(A);
malloc(B);

while (...)
{
    malloc(A_temp);
    free(A);
    A= A_temp;
    malloc(B_temp);
    free(B);
    B= B_temp;
}

而原始代码是：

while (...)
{
    malloc(A);
    malloc(B);
    free(A);
    free(B);
}

在第二个循环的每个结束时，您已经清理了您使用的所有内存；与交错内存分配而不完全释放所有内存相比，这更有可能将全局内存堆返回到干净状态。

Answer 2

当您不想保留内存块的现有内容时，使用realloc是一个非常非常糟糕的主意。如果不出意外，您将浪费大量时间来复制要覆盖的数据。实际上，按照您使用它的方式，调整大小的块将不适合旧空间，因此它们位于堆上越来越高的地址，导致堆增长得可笑。

内存管理并不容易。糟糕的分配策略会导致碎片、糟糕的性能等。您能做的最好的事情就是避免引入超出绝对必要的限制（例如在不需要时使用realloc），释放尽可能多的内存当您完成它时，可以在一次分配中将大块关联数据一起分配，而不是分成小块。

Answer 3

您期望 &(*firstString) 与 firstString 相同，但实际上它是将参数的地址传递给函数而不是传递地址A 中的指针。因此，每次调用时，您都会复制 NULL，重新分配新内存，丢失指向新内存的指针，然后重复。您可以通过查看 A 末尾原始指针仍然为空来轻松验证这一点。

编辑：嗯，这是一个很棒的理论，但我对可供我测试的编译器似乎是错误的。