是否有一个 malloc 实现可以在自己的堆之外进行簿记？

发布于 2024-10-07 16:45:29 字数 457 浏览 2 评论 0原文

我需要管理一个内存堆，限制条件是该内存只能写入，不能读取，即 malloc 实现应该将簿记信息与其管理的堆分开，放在普通堆上，并且实际上永远不应该接触它管理的特定堆。我希望使用一种经过测试、优化、现成的解决方案（如果有的话）。使用示例包括 OpenGL VBO 和嵌入式系统外部单元上的内存。

我看了一眼 dlmalloc，从文档来看，它似乎用簿记信息标记了它从两侧分配的内存块。谷歌搜索也没有任何好处——也许我没有正确的关键字来找到我要找的东西。

澄清：作为一个单独的堆，我的意思是我定义的堆。我想在一个或少量预分配块中严格使用内存并进行少量分配。我什至不关心簿记信息（在托管堆之外）是否大于内部数据:)此外，应用程序本身将使用库存 malloc 和堆进行操作，并且仅将这些块用于特殊目的，这归结为与外部硬件通信的内存区域，其中来自应用程序的写入是目的，读取是不可能的或昂贵的。这不是一个一般的 malloc 问题，我只是希望利用一些已经进行了大量研究和测试的东西。

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

浊酒尽余欢 2024-10-14 16:45:29

并且实际上永远不应该触及它管理的特定堆。

如果它不管理堆怎么办？请参阅使用特定实现的 malloc 函数，该实现既不管理 [heap] 区域（参见 /proc/$$/maps），也不将其元数据存储在可寻址内存中，但为您的程序提供了独特的可寻址内存。

void *mymalloc(size_t len)
{
        void *x = mmap(NULL, len, PROT_READ | PROT_WRITE, MAP_PRIVATE | MAP_ANONYMOUS, -1, 0);
        return (x == (void *)-1) ? NULL : x;
}

现在，致命的启示是：glibc 正是使用它来实现足够大的分配。

and should in fact never touch the specific heap it manages.

What if it does not manage the heap? See this malloc function utilizing a particular implementation that neither manages the [heap] area (cf. /proc/$$/maps), nor stores its metadata in adressable memory, and yet, gives your program unique adressable memory.

void *mymalloc(size_t len)
{
        void *x = mmap(NULL, len, PROT_READ | PROT_WRITE, MAP_PRIVATE | MAP_ANONYMOUS, -1, 0);
        return (x == (void *)-1) ? NULL : x;
}

And now for the killer revelation: glibc uses exactly that for sufficiently large allocations.

回复收藏 0 原文

尝蛊 2024-10-14 16:45:29

它不是一个现成的库，而是资源管理 Linux 内核中的代码正是执行此操作来管理 PCI 地址空间等资源。

回复收藏 0 原文

过度放纵 2024-10-14 16:45:29

这是一个非常简单的 malloc 实现，它从不将簿记信息写入它管理的堆中：

void *malloc(size_t n) { return sbrk(n); }
void free(void *p) { }
void *realloc(void *p, size_t n }
{
    void *q = malloc(n);
    if (q) memcpy(q, p, n);
    return q;
}

如果您想要一些更现实的想法，一个简单的解决方案是选择最小的内存单位进行分配（8 或16 字节可能是合理的）并将托管堆划分为该大小的单元，然后将哪些空闲单元存储在位图中（例如，每 16 字节一位，对于 1/128，<1% 开销）。搜索可用空间的时间复杂度为 O(n)，但您也许可以想办法通过多比例地图来改进它。

另一个想法是使用与 dlmalloc 相同的原理，但不是将数据存储在空闲块中，而是对块的地址执行哈希以从哈希箱中获取其簿记信息。然而，任何此类不将信息存储在实际堆中的方法的一个大问题是，释放内存可能会矛盾地增加正在使用的内存量（由于需要分配新的簿记）结构）。

Here's a very simple malloc implementation that never writes bookkeeping information to the heap it manages:

void *malloc(size_t n) { return sbrk(n); }
void free(void *p) { }
void *realloc(void *p, size_t n }
{
    void *q = malloc(n);
    if (q) memcpy(q, p, n);
    return q;
}

If you'd like some more realistic ideas, one simple solution is to choose a smallest unit of memory for allocation (8 or 16 bytes might be reasonable) and divide the managed heap into units of this size, then store which ones are free in a bitmap (e.g. one bit per 16 bytes, for 1/128, <1% overhead). Searching for free space is then O(n), but you can think of ways to improve it with multi-scale maps perhaps.

Another idea is to use the same principles as dlmalloc, but instead of storing data in the free chunks, perform a hash on a chunk's address to get its bookkeeping information from a hash bin. One big problem with any method like this that doesn't store information in the actual heap, though, is that freeing memory can paradoxically increase the amount of memory in use (due to the need to allocate new bookkeeping structures).

回复收藏 0 原文