CUDA - 复制到对象数组中的数组

Question

我有一个 CUDA 应用程序，正在处理一组对象；每个对象都有一个指向 std::pair 数组的指针。我正在尝试 cudaMemcpy 对象数组，然后 cudaMemcpy 对每个对象的数组，但这给我带来了各种悲伤。尝试复制到内部数组时会崩溃；我不明白如何移动它......

#include <cuda.h>

#include <cuda_runtime.h>

#include <iostream>

using namespace std;

class Object
{
public:
    int id;
    float something;
    std::pair<int, float> *somePairs;
};

Object *objects;

void initObjects()
{
    objects = new Object[10];

    for( int idx = 0; idx < 10; idx++ )
    {
        objects[idx].id = idx;
        objects[idx].something = (float) idx;
    objects[idx].somePairs = new std::pair<int, float>[10];

        for ( int jdx = 10; jdx < 10; jdx++ )
        {
           objects[idx].somePairs[jdx] = std::pair<int, float>( jdx, (float) jdx );
        }

    }
}



void cudaMemcpyObjects()
{
     Object *devObjects;

     cudaMalloc( &devObjects, sizeof(Object) * 10 );
     cudaMemcpy( devObjects, objects, sizeof(Object) * 10, cudaMemcpyHostToDevice );

     for ( int idx = 0; idx < 10; idx++ )
     {
         size_t pairSetSize = sizeof(std::pair<int, float>) * 10;

         // CRASH HERE ... v
         cudaMalloc( &(devObjects[idx].somePairs), pairSetSize );
         cudaMemcpy( devObjects[idx].somePairs, objects[idx].somePairs,
                     sizeof( std::pair<int, float> ) * 10, cudaMemcpyHostToDevice );

     }


}


int main()
{
    initObjects();
    cudaMemcpyObjects();
    return 0;
}

Answer 1

我的 CUDA 经验还处于起步阶段，但我相信错误是这样的：

cudaMalloc is a host function that Wants write the point into host em>记忆。但是，您正在向其传递设备内存中的指针！

要解决此问题，您应该首先创建设备指针并将它们填充到主机对象结构中，然后才将整个指针复制到设备，并将各个对也复制到设备。

示意一下：

struct Bar;

struct Foo
{
  int tag;
  Bar * bp;
};

void setup()
{
  Foo * hFoo = new Foo[10];

  Foo * dFoo;
  cudaMalloc(dFoo, sizeof(Foo) * 10);

  for (size_t i = 0; i != 10; ++i)
  {
    Bar * dBar;
    cudaMalloc(&dbar, sizeof(Bar));

    Bar b;  // automatic temporary -- we never keep a host copy of this
    cudaMemcpy(dBar, &b, sizeof(Bar));

    hFoo[i].bp = dBar;    // this is already a device pointer!
  }

  cudaMemcpy(dFoo, hFoo, sizeof(Foo) * 10);
}

在返回时，不要忘记 Foo::bp 是 设备 指针，您仍然需要将其一一复制回来！

拥有一个可以一次性移动的独立类可能会更容易，但由于内存局部性的原因，这可能不实用或不理想。你必须仔细考虑这一点。如果成员只是一对，为什么不直接将这两个项目放在主类中呢？