CUDA：在多 GPU 中，内存复制到 GPU 1 的速度较慢

Question

我的公司设置了两个 GTX 295，所以一台服务器中总共有 4 个 GPU，我们有几台服务器。 与 GPU 0、2 和 3 相比，我们的 GPU 1 特别慢，因此我编写了一些速度测试来帮助找到问题的原因。

//#include <stdio.h>
//#include <stdlib.h>
//#include <cuda_runtime.h>
#include <iostream>
#include <fstream>
#include <sstream>
#include <string>
#include <cutil.h>

__global__ void test_kernel(float *d_data) {
    int tid = blockDim.x*blockIdx.x + threadIdx.x;
    for (int i=0;i<10000;++i) {
        d_data[tid] = float(i*2.2);
        d_data[tid] += 3.3;
    }
}

int main(int argc, char* argv[])
{

    int deviceCount;                                                         
    cudaGetDeviceCount(&deviceCount);
    int device = 0; //SELECT GPU HERE
    cudaSetDevice(device);


    cudaEvent_t start, stop;
    unsigned int num_vals = 200000000;
    float *h_data = new float[num_vals];
    for (int i=0;i<num_vals;++i) {
        h_data[i] = float(i);
    }

    float *d_data = NULL;
    float malloc_timer;
    cudaEventCreate(&start);
    cudaEventCreate(&stop); cudaEventRecord( start, 0 );
    cudaMemcpy(d_data, h_data, sizeof(float)*num_vals,cudaMemcpyHostToDevice);
    cudaMalloc((void**)&d_data, sizeof(float)*num_vals);
    cudaEventRecord( stop, 0 ); cudaEventSynchronize( stop ); cudaEventElapsedTime( &malloc_timer, start, stop );
    cudaEventDestroy( start );
    cudaEventDestroy( stop );


    float mem_timer;
    cudaEventCreate(&start);
    cudaEventCreate(&stop); cudaEventRecord( start, 0 );
    cudaMemcpy(d_data, h_data, sizeof(float)*num_vals,cudaMemcpyHostToDevice);
    cudaEventRecord( stop, 0 ); cudaEventSynchronize( stop ); cudaEventElapsedTime( &mem_timer, start, stop );
    cudaEventDestroy( start );
    cudaEventDestroy( stop );

    float kernel_timer;
    cudaEventCreate(&start);
    cudaEventCreate(&stop); cudaEventRecord( start, 0 );
    test_kernel<<<1000,256>>>(d_data);
    cudaEventRecord( stop, 0 ); cudaEventSynchronize( stop ); cudaEventElapsedTime( &kernel_timer, start, stop );
    cudaEventDestroy( start );
    cudaEventDestroy( stop );

    printf("cudaMalloc took %f ms\n",malloc_timer);
    printf("Copy to the GPU took %f ms\n",mem_timer);
    printf("Test Kernel took %f ms\n",kernel_timer);

    cudaMemcpy(h_data,d_data, sizeof(float)*num_vals,cudaMemcpyDeviceToHost);

    delete[] h_data;
    return 0;
}

结果是

GPU0 cudaMalloc 花费了 0.908640 毫秒 复制到 GPU 花费了 296.058777 毫秒 测试内核花费了 326.721283 ms

GPU1 cudaMalloc 花费了 0.913568 毫秒 复制到 GPU 花费了 663.182251 毫秒 测试内核花费了 326.710785 ms

GPU2 cudaMalloc 花费了 0.925600 毫秒 复制到 GPU 花费了 296.915039 毫秒 测试内核花费了 327.127930 ms

GPU3 cudaMalloc 花费了 0.920416 毫秒 复制到 GPU 花费了 296.968384 毫秒 测试内核花费了 327.038696 毫秒

如您所见，GPU 的 cudaMemcpy 时间是 GPU1 的两倍。这在我们所有服务器之间都是一致的，GPU1 总是很慢。 有什么想法可能是这样吗？ 所有服务器都运行 Windows XP。

Answer 1

这是一个驱动程序问题。更新到最新驱动修复了

Answer 2

这可能是您的 PCI 总线的问题，请尝试将卡更换到不同的插槽中，看看问题是否仍然存在。如果这是一个问题，请通过更快的插槽将所有数据复制到 gtx295 上，然后使用 sli top 将其复制到另一个（慢速 PCI 总线）GPU 上。

Answer 3

如果您可以利用更快的显卡的 gddr 来加载，那么您可以以更高的带宽进行设备设备传输，这也可能有助于消除该问题。另外，请使用 NVidia 的带宽测试来检查您的带宽，以获得一些物理结果和测试。

祝你好运！

Answer 4

您是否在双处理器设置中运行？当前 Tylersburg 芯片组中存在一个错误，即 x86 (0) 到 GPU (1) 的路径带宽比从 x86 (0) 到 GPU (0) 的直接路径慢。英特尔应该发布新版本来修复这个错误。尝试使用任务集将测试进程锁定到特定的 CPU，看看会得到什么结果。

问候
标记