你能做C++风格的CUDA吗？

Question

我遵循一些准则来处理 C++ 中的内存管理。一些例子：我从不使用malloc。我几乎从不需要或使用 new 或 delete。我使用智能指针，几乎不需要编写析构函数。

我想学习CUDA。我一直在网上寻找与我的 C++ 编程风格相匹配的教程，但一切看起来都是 C 风格的。 我不清楚何时需要这种 C 风格的编程以及何时它只是作者的风格。 作为示例，这里是来自 NVIDIA 教程：

int main(void)
{
  int N = 1<<20;
  float *x, *y, *d_x, *d_y;
  x = (float*)malloc(N*sizeof(float));
  y = (float*)malloc(N*sizeof(float));

  cudaMalloc(&d_x, N*sizeof(float)); 
  cudaMalloc(&d_y, N*sizeof(float));

//...

  printf("Max error: %f\n", maxError);

  cudaFree(d_x);
  cudaFree(d_y);
  free(x);
  free(y);
}

此代码使用 malloc， 免费，拥有原始指针和 C 风格数组。这些都有必要吗？我可以编写现代 C++ 风格的 CUDA 吗？

Answer 1

Cuda（十年前）是一个很大程度上的C风格实体。随着时间的流逝，语言迁移为C ++变体/定义。为了理解，我们应该描述设备代码和主机代码之间的讨论。

对于设备代码，，在各种限制。特定的限制之一是 no对标准库的一般支持。

对于设备代码，（与主机代码有些重叠）有进行进化类似于STL的库/功能。但是，例如， std :: vector 在CUDA设备代码中不可用（您可以在CUDA设备代码中使用 new ）。

对于主机代码，只要我们谈论的是严格的主机代码，实际上并不是任何打算是越野外的。此外的例外是无证的问题，这些问题会不时出现例如 boost ，也许还有许多其他库。这些不是故意的遗漏，而是通过CUDA使用一个特殊的预处理器/前端即使对于主机代码，与每个想象中的每个可想象的库可能要使用的库，再加上不完整的测试。

关于用户提供的库（与标准库或系统库相对），CUDA通常需要适当地装饰功能才能适当地装饰以在设备代码中使用，也可能值得一提。无论我们是在谈论编译的库还是仅限标题库，除非库专门用于CUDA使用，否则通常应该在主机代码中使用这些库（受到上述警告），但不一定在设备代码中使用。

如果主机代码与设备代码接口，则需要相当仔细地遵循限制。同样，一个 std :: vector 容器无法轻松传递到设备代码函数调用（a cuda kernel ）。但是，正如评论中已经提到的那样，您可以使用 throust库< /a> cuda工具包安装中。

这些都是必要的吗？

malloc 和免费是不需要的。您可以类似地使用 new 和删除，或使用推力容器。

关于使用原始指针以及相关的C风格阵列，这可能是不可避免的，因为它们是C ++的一部分，除了标准库中，C ++中没有更高级别的容器。至少在主机设备接口上使用原始指针肯定是典型的。例如，如果使用 throust :: device_vector ，则仍然需要提取原始指针将其传递给内核。

cuda runtime 和驱动程序 API在很大程度上对他们具有C风格的感觉。它不是正式的CUDA一部分，但其他人则创建了包装器，以使事情变得更加“ C ++”。一个这样的例子是此库来自einpoklum/eyalroz。我没有个人经验，但是维护它似乎是相对充满活力的，这是一个持续的问题。正如评论中所暗示的，通过C ++过载和EG在各种容器和库结构中可更换功能，您可能可以构建一个容器或构造，该容器或构造可以通过替换标准分配器等

。提供一种容器/算法方法来利用CUDA环境中的这些C ++概念。

它不是CUDA的一部分，但Nvidia提供了一种方法来加速标准C ++代码也是如此。