比较 CPU 和 GPU 内存范围的规范方法是什么

Question

我必须连续的范围（指针+大小），一个在GPU中，一个在CPU中，我想比较它们是否相等。

比较这些范围是否相等的规范方法是什么？

my_cpu_type cpu;  // cpu.data() returns double*
my_gpu_type gpu;  // gpu.data() returns thrust::cuda::pointer<double>

thrust::equal(cpu.data(), cpu.data() + cpu.size(), gpu.data());

给出非法内存访问。 我也尝试过

thrust::equal(
   thrust::cuda::par // also thrust::host
   , cpu.data(), cpu.data() + cpu.size(), gpu.data()
);

Answer 1

在一般情况下，你不能按照你想象的推力方式做到这一点。 Thrust 不在混合后端中执行算法。您必须使用设备后端，在这种情况下，所有数据都需要位于设备上（或从设备代码访问，见下文），或者使用主机后端，在这种情况下，所有数据都需要位于主机上。

因此，您将被迫将数据从一侧复制到另一侧。成本应该相似（将主机阵列复制到设备，或将设备阵列复制到主机），因此我们更喜欢复制到设备，因为设备比较可以更快。

如果您有幸将主机阵列放在固定缓冲区中，那么就可以执行您所建议的操作。

对于一般情况，类似这样的事情应该有效：

thrust::host_vector<double>   cpu(size);
thrust::device_vector<double> gpu(size);

thrust::device_vector<double> d_cpu = cpu;
bool are_equal = thrust::equal(d_cpu.begin(), d_cpu.end(), gpu.begin());

Answer 2

除了 Robert 的有效答案之外，我还认为您在尝试使用涉及 GPU 计算的类似 C++-STL 的代码时走的是错误的道路。

问题不仅仅是指针指向哪里的问题。像 std::equal 这样的东西本质上是顺序的。即使其实现涉及并行性，假设仍然是尽快启动计算，阻塞调用线程，并将结果返回给该调用线程以继续其工作。虽然这可能是您想要的，但我猜在大多数情况下，它可能不是您想要的。我认为推力的方法，即让开发人员感觉他们正在编写“C++ STL 代码，但使用 GPU”（大部分）是被误导的。

如果有 GPU 任务图、C++ future/async/promise 机制的某种集成，也许还有类似 taskflow< /a> 或其他框架，这可能以某种方式变得更像是一种“规范”的方式来做到这一点。