这段代码是否填满了CPU缓存？

Question

我有两种方法来编程相同的功能。

方法 1：

doTheWork(int action)
{
    for(int i = 0 i < 1000000000; ++i)
    {
        doAction(action);
    }
}

方法 2：

doTheWork(int action)
{
    switch(action)
    {
    case 1:
        for(int i = 0 i < 1000000000; ++i)
        {
            doAction<1>();
        }
        break;
    case 2:
        for(int i = 0 i < 1000000000; ++i)
        {
            doAction<2>();
        }
        break;
    //-----------------------------------------------
    //... (there are 1000000 cases here)
    //-----------------------------------------------
    case 1000000:
        for(int i = 0 i < 1000000000; ++i)
        {
            doAction<1000000>();
        }
        break;
    }
}

假设函数 doAction(int action) 和函数 templatedoAction() 由大约 10 行代码组成，这些代码将在编译时内联。调用 doAction(#) 在功能上等同于 doAction<#>()，但非模板化 doAction(int value) 是比 template稍慢一些doAction()，因为当编译时参数值已知时，可以在代码中完成一些很好的优化。

所以我的问题是，在模板化函数的情况下，是否所有数百万行代码都会填充 CPU L1 缓存（以及更多）（从而显着降低性能），或者仅填充 doAction<#> 行当前正在运行的循环内的;()是否被缓存？

Answer 1

这取决于实际的代码大小 - 10 行代码可以多也可以少 - 当然也取决于实际的机器。

然而，方法 2 严重违反了这几十年来的经验法则：指令很便宜，而内存访问则不然。

可扩展性限制

您的优化通常是线性的 - 您可能会减少 10%、20% 甚至 30% 的执行时间。达到缓存限制是高度非线性的 - 就像“撞到砖墙”非线性一样。

一旦您的代码大小显着超过第 2/3 级缓存的大小，方法 2 将浪费大量时间，如以下对高端消费系统的估计所示：

• DDR3-1333，峰值 10667MB/s内存带宽方面，
• 具有 ~75000 MIPS 的英特尔酷睿 i7 Extreme 可

为您提供每条指令 10667MB / 75000M = 0.14 字节的盈亏平衡 - 任何更大的内存带宽都无法跟上 CPU 的速度。

典型的 x86 指令大小为 2..3 个字节，在 1..2 个周期内执行（现在，当然，这不一定是相同的指令，因为 x86 指令是分开的。仍然......）
典型的 x64 指令长度甚至更大。

您的缓存有多大帮助？
我找到了以下数字（来源不同，因此很难比较）：
i7 Nehalem L2 缓存（256K，>200GB/s 带宽）几乎可以跟上 x86 指令，但可能无法跟上 x64。

此外，只有当

• 您对下一条指令有完美的预测或时，您的二级缓存才会完全启动，或者您没有首次运行损失并且它完全适合缓存，
• 并且没有大量数据被占用。处理后，
• “内部循环”中没有重要的其他代码，
• 该核心上没有执行线程

鉴于此，您可能会更早丢失，特别是在具有较小缓存的CPU/主板上。

Answer 2

L1 指令高速缓存将仅包含最近获取的或预期不久的将来执行的指令。因此，第二种方法不能仅仅因为代码在那里而填充 L1 缓存。您的执行路径将导致它加载代表当前正在运行的循环的模板实例化版本。当您进入下一个循环时，它通常会使最近最少使用 (LRU) 缓存行失效，并将其替换为您接下来要执行的内容。

换句话说，由于两种方法的循环性质，L1 缓存在两种情况下都将表现出色，并且不会成为瓶颈。