如何使用 CUDA 执行结构的深度复制？

Question

使用 CUDA 编程我在尝试将一些数据从主机复制到 GPU 时遇到问题。

我有 3 个这样的嵌套结构：

typedef struct {
    char data[128];
    short length;
} Cell;

typedef struct {
    Cell* elements;
    int height;
    int width;
} Matrix;

typedef struct {
    Matrix* tables;
    int count;
} Container;

所以 Container “包含”一些 Matrix 元素，而这些元素又包含一些 Cell 元素。

假设我以这种方式动态分配主机内存：

Container c;
c.tables = malloc(20 * sizeof(Matrix));

for(int i = 0;i<20;i++){
    Matrix m;
    m.elements = malloc(100 * sizeof(Cell));
    c.tables[i] = m;
}

即一个包含 20 个矩阵（每个矩阵有 100 个单元）的容器。

• 我现在如何使用 cudaMemCpy() 将此数据复制到设备内存？
• 有没有什么好方法来执行从主机到设备的“结构的结构”的深层复制？

感谢您抽出时间。

安德里亚

Answer 1

简短的回答是“只是不要”。我这么说有四个原因：

1. API 中没有深度复制功能
2. 您必须编写的结果代码才能设置并向 GPU 复制您所描述的结构，这将极其复杂（至少大约 4000 个 API 调用） ，并且可能是 20 个 100 个单元矩阵示例的中间内核）
3. 使用三级指针间接寻址的 GPU 代码将大大增加内存访问延迟，并且会破坏 GPU 上可用的少量缓存一致性（
4. 如果您想复制数据）之后回到主机，你反过来也有同样的问题

考虑使用线性内存和索引代替。它可以在主机和 GPU 之间移植，并且分配和复制开销约为基于指针的替代方案的 1%。

如果您真的想要这样做，请发表评论，我将尝试挖掘一些旧的代码示例，这些示例展示了 GPU 上的完全愚蠢的嵌套指针。