GPGPU编程是否只允许执行SIMD指令？

Question

GPGPU编程是否只允许执行SIMD指令？ 如果是这样，那么重写一个具有以下特征的算法一定是一项乏味的任务： 被设计为在通用CPU上运行而在GPU上运行？还有一个 可以转换为 SIMD 架构的算法模式？

Answer 1

好吧，GPGPU 仅支持 SIMD 执行并不完全准确。许多 GPU 都有一些非 SIMD 组件。但总的来说，要充分利用 GPU，您需要运行 SIMD 代码。

但是，您不一定要编写 SIMD 指令。即 GPU SIMD 与 CPU SIMD 不同 - 即与编写代码以利用 x86 SSE（流 SIMD 扩展）等不同。事实上，作为使用 CPU SIMD 的人之一对你来说（我深入参与了 Intel MMX，这是最早的此类技术之一，并且一直关注着 FP SIMD 的发展）我经常觉得有必要纠正那些说像 Intel 这样的 CPU 有 SIMD 指令的人。我更喜欢将它们视为打包向量指令，尽管我勉强将它们称为 SIMD 打包向量指令集，只是因为每个人都误用了这个名称。我还强调，CPU SIMD 指令集（例如 MMX 和 SSE）可能具有 SIMD 打包向量执行单元（整数和浮点 ALU 等），但它们没有 SIMD 控制流，并且通常没有 SIMD 内存访问（又名分散/聚集（尽管英特尔 Larrabee 正在朝这个方向发展））。

我的 comp-arch.net wiki 上的一些页面与此相关（我出于爱好编写计算机体系结构）：
- http://semipublic.comp-arch.net/wiki/SIMD
- http://semipublic.comp-arch.net/wiki/SIMD_packed_vector
- http://semipublic.comp-arch.net/wiki/Difference_ Between_vector_and_packed_vector
- http://semipublic.comp-arch.net/wiki/Single_Instruction_Multiple_Threads_(SIMT)< /a>
尽管我很抱歉尚未编写讨论 SIMD 打包向量指令序列（如 Intel MMX 或 SIMD 中的序列）的页面。

但我不希望您阅读以上所有内容。让我尝试解释一下。

想象一下，您有一段代码，当以简单的标量方式编写时，看起来像这样：

// operating on an array with one million 32b floating point elements A[1000000]
for i from 0 upto 999999 do
     if some_condition(A[i]) then
           A[i] = function1(A[i])
     else
           A[i] = function2(A[i])

其中 function1() 和 function2() 足够简单，可以内联 - 比如说 function1(x) = x*x 和 function2( x) = sqrt(x)。

在CPU上。要使用 SSE 之类的东西，您必须 (1) 将数组分成块，例如 256 位 AVX 的大小，(2) 使用掩码等自行处理 IF 语句。例如：

for i from 0 upto 999999 by 8 do
     register tmp256b_1 = load256b(&A[i])
     register tmp256b_2 = tmp256b_1 * tmp256b_1
     register tmp256b_3 = _mm_sqrt_ps(tmp256b_1) // this is an "intrinsic"
                                                 // a function, possibly inlined
                                                 // doing a Newton Raphson to evaluate sqrt.
     register mask256b = ... code that arranges for you to have 32 1s in the "lane" 
                         where some_condition is true, and 0s elsewhere...
     register tmp256b_4 = (tmp256b_1 & mask) | (tmp256b_3 | ~mask);
     store256b(&A[i],tmp256b_4)

您可能不认为这有多糟糕，但请记住，这是一个简单的示例。想象一下多个嵌套的 IF，等等。或者，想象一下“some_condition”是块状的，这样你就可以通过跳过全是 function1 或全 function2 的部分来节省大量不必要的计算......

for i from 0 upto 999999 by 8 do
     register mask256b = ... code that arranges for you to have 32 1s in the "lane" 
                         where some_condition is true, and 0s elsewhere...
     register tmp256b_1 = load256b(A[i])
     if mask256b == ~0 then
         register tmp256b_2 = tmp256b_1 * tmp256b_1
         store256b(&A[i],tmp256b_2)
     else mask256b == 0 then
         register tmp256b_3 = _mm_sqrt_ps(tmp256b_1) // this is an "intrinsic"
         store256b(&A[i],tmp256b_3)
     else
         register tmp256b_1 = load256b(&A[i])
         register tmp256b_2 = tmp256b_1 * tmp256b_1
         register tmp256b_3 = _mm_sqrt_ps(tmp256b_1)
         register tmp256b_4 = (tmp256b_1 & mask) | (tmp256b_3 | ~mask);
         store256b(&A[i],tmp256b_4)

我想你能明白吗？当您有多个数组时，情况会变得更加复杂，有时数据在 256 位边界上对齐，有时则不然（典型的情况是，例如，在模板计算中，您对所有对齐进行操作）。

现在，它在 GPU 之类的东西上的大致样子是这样的：

// operating on an array with one million 32b floating point elements A[1000000]
for all i from 0 upto 999999 do
     if some_condition(A) then
           A = function1(A)
     else
           A = function2(A)

这不是看起来更像原始的标量代码吗？唯一真正的区别是您丢失了数组索引 A[i]。 （实际上，一些 GPGPU 语言保留了数组索引，但我所知道的大多数语言都没有。）

现在，我省略了 (a) Open/CL 的类似 C 的语法，(b) 您需要的所有设置将 Open/CL 代码连接到您的 C 或 C++ 代码（有比 CUDA 或 OpenCL 更好的语言 - 这些语言有很多缺陷。但它们在 CPU 和 GPU 上的很多地方都可用[**]）。但我想我已经表达了问题的核心：

GPGPU 计算的关键在于你编写 SIMD，数据并行冷。但你编写它的级别比编写 CPU 风格的 SSE 代码更高。甚至比编译器内在函数更高级别。

首先，GPGPU 编译器（例如 OpenCL 或 CUDA 编译器）会在您背后处理大量数据管理工作。编译器安排执行控制流、tghe IF 语句等。

顺便说一句，请注意，正如我用 [**] 标记的那样，有时所谓的 SIMD GPGPU 编译器可以生成在 CPU 和 GPU 上运行的代码。即SIMD编译器可以生成使用CPU SIMD指令集的代码。

但 GPU 本身具有特殊的硬件支持，可以运行经过适当编译的 SIMD 代码，其速度比使用 CPU SIMD 指令在 CPU 上运行的速度快得多。最重要的是，GPU 具有更多的执行单元 - 例如，像 AMD Bulldoser 这样的 CPU 具有 2 组 128 位宽 FMACS，即每个周期能够执行 8 个 FMAC。乘以芯片上的 CPU 数量（比如 8），每个周期可能有 64 个。而现代 GPU 每个周期可能有 2,048 个 32b FMAC。即使以 1/2 或 1/4 时钟速率运行，这也是一个很大的差异。

GPU 如何拥有如此多的硬件？首先，它们通常是比 CPU 更大的芯片。但是，他们也倾向于不会将硬件花费（有人说“浪费”）在大缓存和 CPU 所花费的乱序执行等方面。 CPU 尝试快速执行一项或多项计算，而 GPU 并行执行许多计算，但单独速度比 CPU 慢。尽管如此，GPU 每秒可以执行的计算总数仍远高于 CPU 可以执行的计算总数。

FGPU 还有其他硬件优化。例如，它们运行的​​线程比 CPU 多得多。 Intel CPU 每个 CPU 有 2 个超线程，在 8 个 CPU 核心芯片上提供 16 个线程，而 GPU 可能有数百个线程。等等。

作为一名计算机架构师，我最感兴趣的是，许多 GPU 都对 SIMD 控制流提供特殊的硬件支持。它们使得操作这些掩码比在运行 SSE 的 CPU 上更加高效。

等等。

---

不管怎样，我希望我已经表达了我的观点

• 当你确实必须编写SIMD代码才能在GPGPU系统（如OpenCL）上运行时。

• 您不应将此类 SIMD 与您必须编写才能利用英特尔 SSE 的 SIMD 代码混淆。

干净多了。

越来越多的编译器允许相同的代码在 DCPU 和 GPU 上运行。即，它们越来越多地支持干净的“真实 SIMD”编码风格，而不是迄今为止利用 MMX、SSE 和 AVX 所必需的假“伪 SIMD”编码风格。这很好——这样的代码对于在 CPU 和 GPU 上编程同样“好”。但 GPU 通常运行速度要快得多。 Intel 有一篇论文，名为“揭穿 100X GPU 与 CPU 神话：对 CPU 和 GPU 吞吐量计算的评估”，http://www.hwsw.hu/kepek/hirek/2010/06/p451-lee.pdf。据称，GPU 的平均速度“仅”提高了 2.5 倍。但这是经过大量积极优化之后的结果。 GPU 代码通常更容易编写。我不了解你的情况，但我认为“仅”快 2.5 倍并不是什么值得轻视的事情。特别是因为 GPGPU 代码通常更容易阅读。

现在，天下没有免费的午餐。如果您的代码本质上是数据并行的，那就太好了。但有些科德则不然。这可能会很痛苦。

而且，与所有机器一样，GPU 也有其怪癖。

但是，如果您的代码本质上是数据并行的，那么您可能会获得很大的加速，并且代码的可读性更高。

我是一名CPU设计师。我希望借用 GPU 的很多想法来让男性 CPU 运行得更快，反之亦然。