ioremap 后内存访问非常慢

Question

我正在开发一个 Linux 内核驱动程序，该驱动程序使一大块物理内存可供用户空间使用。我有驱动程序的工作版本，但目前速度非常慢。因此，我退回了几个步骤并尝试制作一个小型、简单的驱动程序来重现问题。

我在启动时使用内核参数 memmap=2G$1G 保留内存。然后，在驱动程序的 __init 函数中，我 ioremap 一些内存，并将其初始化为已知值。我还输入了一些代码来测量时间：

#define RESERVED_REGION_SIZE    (1 * 1024 * 1024 * 1024)   // 1GB
#define RESERVED_REGION_OFFSET  (1 * 1024 * 1024 * 1024)   // 1GB

static int __init memdrv_init(void)
{
    struct timeval t1, t2;
    printk(KERN_INFO "[memdriver] init\n");

    // Remap reserved physical memory (that we grabbed at boot time)
    do_gettimeofday( &t1 );
    reservedBlock = ioremap( RESERVED_REGION_OFFSET, RESERVED_REGION_SIZE );
    do_gettimeofday( &t2 );
    printk( KERN_ERR "[memdriver] ioremap() took %d usec\n", usec_diff( &t2, &t1 ) );

    // Set the memory to a known value
    do_gettimeofday( &t1 );
    memset( reservedBlock, 0xAB, RESERVED_REGION_SIZE );
    do_gettimeofday( &t2 );
    printk( KERN_ERR "[memdriver] memset() took %d usec\n", usec_diff( &t2, &t1 ) );

    // Register the character device
    ...

    return 0;
}

我加载驱动程序，并检查 dmesg。它报告：

[memdriver] init
[memdriver] ioremap() took 76268 usec
[memdriver] memset() took 12622779 usec

memset 需要 12.6 秒。这意味着 memset 的运行速度为 81 MB/秒。到底为什么这么慢？

这是 Fedora 13 上的内核 2.6.34，它是一个 x86_64 系统。

编辑：

该方案背后的目标是获取一块物理内存并使其可供 PCI 设备（通过内存的总线/物理地址）和用户空间应用程序（通过调用 mmap，由驱动程序支持）。然后 PCI 设备将不断地用数据填充该内存，然后用户空间应用程序将其读出。如果 ioremap 是一种不好的方法（正如下面 Ben 建议的那样），我愿意接受其他建议，这些建议将允许我获得可以由两个硬件直接访问的任何大块内存和软件。我也许也可以使用较小的缓冲区。

---

请参阅下面我的最终解决方案。

Answer 1

ioremap 分配不可缓存的页面，因为您需要访问内存映射 io 设备。这可以解释你表现不佳的原因。

您可能需要 kmalloc 或 vmalloc。 通常 参考 材料将解释每个人的能力。

Answer 2

我不认为 ioremap() 是你想要的。您只能使用 readb、readl、writeb、访问结果（您称之为 reservedBlock） memcpy_toio 等。甚至不能保证返回值是虚拟映射的（尽管它显然在您的平台上）。我猜想该区域被映射为未缓存（适合 IO 寄存器），导致性能糟糕。

Answer 3

已经有一段时间了，但我正在更新，因为我最终找到了这个 ioremap 问题的解决方法。

由于我们有自定义硬件直接写入内存，因此将其标记为不可缓存可能更正确，但它速度慢得难以忍受，并且不适用于我们的应用程序。我们的解决方案是，只有当有足够的新数据填充我们架构上的整个缓存行（我认为是 256 字节）时，才从该内存（环形缓冲区）中读取数据。这保证了我们永远不会得到过时的数据，而且速度非常快。

Answer 4

我尝试使用 memmap 进行巨大的内存块预留。

该块的 ioremap ping 为我提供了一个超过几兆字节的映射内存地址空间。

当您要求保留 128GB 内存（64 GB 起）时。您会在 /proc/vmallocinfo 中看到以下内容，

0xffffc9001f3a8000-0xffffc9201f3a9000 137438957568 0xffffffffa00831c9 phys=1000000000 ioremap

因此地址空间从 0xffffc9001f3a8000 开始（这太大了）。

其次，你的观察是正确的。即使是 memset_io 也会导致接触所有这些内存的极大延迟（数十分钟）。

因此，所花费的时间主要与地址空间转换和不可缓存页面加载有关。