使用 CUDA 构建自动并行计算库

Question

对于我最后一年的项目，我选择构建一个库，开发人员可以使用 CUDA 进行 GPGPU 计算，而无需了解 CUDA API 的不同内核实现背后的机制（换句话说，是 CUDA 包装器）。该库可能类似于 openMP 库。对于那些不熟悉 openMP 的人来说，它是一个支持 C 语言多平台共享内存多处理编程的 API，其中数据布局和分解由指令自动处理。例如，API 将每个代码并行化为块：

 long sum = 0, loc_sum = 0;
 /*forks off the threads and starts the work-sharing construct*/
 #pragma omp parallel for private(w,loc_sum) schedule(static,1) 
 {
   for(i = 0; i < N; i++)
     {
       w = i*i;
       loc_sum = loc_sum + w*a[i];
     }
   #pragma omp critical
   sum = sum + loc_sum;
 }
 printf("\n %li",sum);

在我的例子中，我想在 GPU 上为 CUDA 并行计算实现相同的功能。因此，我需要构建一组影响运行时行为的编译器指令、库例程和环境变量。 CUDA 中的每个调用都必须对程序员隐藏。

由于 CUDA 是 SIMD 架构，因此我知道必须考虑很多因素，尤其是迭代之间的依赖性。但现在我想程序员知道 GPGPU 计算的局限性。

现在，我需要你的帮助。有人能给我关于从哪里开始建立这样一个图书馆的建议吗？另外，有人有任何好的教程可以帮助我处理编译器指令或环境变量吗？或者，有谁知道任何其他库可以执行类似的任务并且我可以从中获得良好的文档？

而且最重要的是，你认为这是一个可以在 1200 小时左右完成的项目吗？我已经对 GPGPU 和 CUDA 有点熟悉了，但是构建这样的库对我来说是新的。

Answer 1

这与其说是编写库，不如说是重写编译器的一部分。一方面，GCC 和 Visual Studio 都不允许您定义自己的编译指示，并且您需要很好地使用内置优化器。

老实说，在我看来，实际的 GPGPU 部分是比较简单的部分。

如果您想了解他们如何在 GCC 中执行 OpenMP，我建议您查看 GOMP 项目 历史记录。

Answer 2

这有点主观，但这听起来是一个非常具有挑战性的项目。需要大量的思考和规划来足够好地构造一个问题，以使从主机到 GPU 的数据传输得到回报，而且它只对一小部分问题有意义。

就执行类似操作的现有项目而言，有一些简单的包装器，例如 PyCUDA和 PyOpenCL 包装了矩阵数学等少量 GPU 功能。最接近的可能是 theano，它专注于相当数学计算，但它很好地抽象出了 GPU 组件。