对齐内存管理？

Question

我有一些关于管理对齐内存块的相关问题。跨平台的答案将是理想的。然而，由于我非常确定不存在跨平台解决方案，因此我主要对 Windows 和 Linux 感兴趣，并且在较小程度上对 Mac OS 和 FreeBSD 感兴趣。

1. 使内存块在 16 字节边界上对齐的最佳方法是什么？ （我知道使用malloc()的简单方法，分配一点额外的空间，然后将指针提升到正确对齐的值。我希望有一些不那么混乱的东西- y，不过，请参阅下面的其他问题。）

2. 如果我使用普通的旧 malloc()，分配额外的空间，然后将指针向上移动到正确对齐的位置，是否有必要保留指向块开头的指针以进行释放？ （在指向块中间的指针上调用 free() 似乎在 Windows 上实际上可行，但我想知道标准是怎么说的，即使标准说不能，是否它实际上适用于所有主要操作系统，我不关心类似 DS9K 的晦涩难懂的操作系统。）

3. 这是困难/有趣的部分。在保持对齐的同时重新分配内存块的最佳方法是什么？理想情况下，这比调用 malloc()、复制然后在旧块上调用 free() 更智能。我希望尽可能在适当的地方进行操作。

Answer 1

1. 如果您的实现具有需要 16 字节对齐的标准数据类型（例如 long long），malloc 已经保证您返回的块将正确对齐。 C99 第 7.20.3 节规定分配成功时返回的指针经过适当对齐，以便可以将其分配给指向任何类型对象的指针。

2. 您必须 将与 malloc 给定的地址完全相同的地址传回 free。没有例外。所以是的，您需要保留原始副本。

3. 如果您已经有需要 16 字节对齐的类型，请参阅上面的 (1)。

除此之外，您可能会发现您的 malloc 实现无论如何都会为您提供 16 字节对齐的地址以提高效率，尽管标准并不能保证这一点。如果您需要，您始终可以实现您自己的分配器。

我自己会在 malloc 之上实现一个 malloc16 层，该层将使用以下结构：

some padding for alignment (0-15 bytes)
size of padding (1 byte)
16-byte-aligned area

然后让您的 malloc16() 函数调用 < code>malloc 获取比请求大 16 字节的块，找出对齐区域应该在哪里，将填充长度放在该区域之前，然后返回对齐区域的地址。

对于 free16，您只需查看给定地址之前的字节即可获取填充长度，从中计算出 malloc 块的实际地址，然后将其传递给 free /代码>。

这尚未经过测试，但应该是一个好的开始：

void *malloc16 (size_t s) {
    unsigned char *p;
    unsigned char *porig = malloc (s + 0x10);   // allocate extra
    if (porig == NULL) return NULL;             // catch out of memory
    p = (porig + 16) & (~0xf);                  // insert padding
    *(p-1) = p - porig;                         // store padding size
    return p;
}

void free16(void *p) {
    unsigned char *porig = p;                   // work out original
    porig = porig - *(porig-1);                 // by subtracting padding
    free (porig);                               // then free that
}

malloc16 中的魔法线是 p = (porig + 16) & (~0xf); 将 16 添加到地址，然后将低 4 位设置为 0，实际上将其带回到下一个最低对齐点（+16 保证它是过去的maloc'ed 块的实际开始）。

现在，我并不是说上面的代码有什么问题，而是杂凑的。您必须在感兴趣的平台上对其进行测试，看看它是否可行。它的主要优点是它抽象了丑陋的部分，因此您永远不必担心它。

Answer 2

启动 C11，您有 void *aligned_alloc( size_t adjustment, size_t size ); 原语，其中参数为：

alignment - 指定对齐方式。必须是实现支持的有效对齐方式。
大小 - 要分配的字节数。对齐的整数倍

返回值

成功时，返回指向新分配的内存开头的指针。返回的指针必须用 free() 或 realloc() 释放。

失败时，返回空指针。

示例：

#include <stdio.h>
#include <stdlib.h>


    int main(void)
    {
        int *p1 = malloc(10*sizeof *p1);
        printf("default-aligned addr:   %p\n", (void*)p1);
        free(p1);

        int *p2 = aligned_alloc(1024, 1024*sizeof *p2);
        printf("1024-byte aligned addr: %p\n", (void*)p2);
        free(p2);
    }

可能的输出：

default-aligned addr:   0x1e40c20
1024-byte aligned addr: 0x1e41000

Answer 3

1. 我不知道有什么方法可以比平常更严格地请求 malloc 返回内存。至于 Linux 上的“通常”，来自 man posix_memalign （如果您愿意，您可以使用它代替 malloc() 来获得更严格对齐的内存）：

   GNU libc malloc() 始终返回 8 字节对齐的内存地址，因此
   仅当您需要更大的对齐值时才需要这些例程。

2. 您必须使用malloc()、posix_memalign()或realloc()返回的相同指针来free()内存。

3. 照常使用 realloc()，包括足够的额外空间，因此如果返回的新地址尚未对齐，您可以稍微 memmove() 来对齐它。讨厌，但我能想到的最好的。

Answer 4

您可以编写自己的 slab 分配器 来处理您的对象，它可以使用 < 一次分配页面code>mmap，维护最近释放的地址的缓存以进行快速分配，为您处理所有对齐，并为您提供完全根据需要移动/增长对象的灵活性。 malloc 对于通用分配来说非常好，但是如果您知道您的数据布局和分配需求，您可以设计一个系统来准确满足这些要求。

Answer 5

最棘手的要求显然是第三个，因为任何基于 malloc() / realloc() 的解决方案都会受制于 realloc() 移动块到不同的对齐方式。

在 Linux 上，您可以使用通过 mmap() 而不是 malloc() 创建的匿名映射。 mmap() 返回的地址必然是页面对齐的，并且可以使用 mremap() 扩展映射。

Answer 6

1. 在您的系统上进行实验。在许多系统（尤其是 64 位系统）上，无论如何，您都可以从 malloc() 中获得 16 字节对齐的内存。如果没有，您将必须分配额外的空间并移动指针（几乎每台机器上最多移动 8 个字节）。

   例如，x86/64 上的 64 位 Linux 具有 16 字节长双精度型，它是 16 字节对齐的 - 因此所有内存分配无论如何都是 16 字节对齐的。但是，对于 32 位程序，sizeof(long double) 为 8，并且内存分配仅按 8 字节对齐。

2. 是的 - 您只能free()由malloc()返回的指针。其他任何事情都会导致灾难。

3. 如果您的系统执行 16 字节对齐分配，则不会有问题。如果没有，那么您将需要自己的重新分配器，它执行 16 字节对齐分配，然后复制数据 - 或者使用系统 realloc() 并在以下情况下调整重新对齐的数据：必要的。

仔细检查 malloc() 的手册页；可能有一些选项和机制可以对其进行调整，使其按照您的意愿运行。

在 MacOS X 上，有 posix_memalign() 和 valloc()（提供页对齐分配），并且识别出一系列“分区 malloc”函数由 man malloc_zoned_malloc 编写，标头为 。

Answer 7

您可能能够吉米（在Microsoft VC++中，也许还有其他编译器）：

#pragma pack(16)

这样malloc()被迫返回一个16字节-对齐的指针。大致如下：

ptr_16byte = malloc( 10 * sizeof( my_16byte_aligned_struct ));

如果它对 malloc( ) 完全有效，我认为它也适用于 realloc( ) 。

只是一个想法。

——皮特