.NET 中的 CUDA 全局内存释放问题

Question

我有一个类（参见下面的示例），它充当 CUDA 内存结构的 .NET 包装器，
使用 cudaMalloc() 分配并使用 IntPtr 类型的成员字段引用。
（该类使用本机 C DLL 的 DllImport，它包装了各种 CUDA 功能。）

dispose 方法检查指针是否为 IntPtr.Zero，如果不是则调用 cudaFree()
成功释放内存（返回 CUDA 成功）
并将指针设置为 IntPtr.Zero。

Finalize方法调用dispose方法。

问题是，如果调用 Finalize 方法而之前没有调用 dispose，
然后cudaFree()函数设置一个错误代码“无效的设备指针”。

我检查过，cudaFree() 接收的地址与 cudaMalloc() 返回的地址相同，并且之前没有调用过 dispose()。

当我添加对 dispose() 的显式调用时，相同的地址已成功释放。

我发现的唯一解决方法是不从终结器调用 dispose 方法，但是，如果不总是调用 dispose()，这可能会导致内存泄漏。

有什么想法为什么会发生这种情况吗？ - 我在 Windows Vista 64 位 + GeForce 8800 和 Windows XP 32 位 + Quadro FX 上的 .NET 3.5 SP1 下的 CUDA 2.2 和 2.3 中遇到了同样的问题（不确定是哪个数字）。

class CudaEntity : IDisposable
{
    private IntPtr dataPointer;

    public CudaEntity()
    {
        // Calls cudaMalloc() via DllImport,
        // receives error code and throws expection if not 0
        // assigns value to this.dataPointer
    }

    public Dispose()
    {
        if (this.dataPointer != IntPtr.Zero)
        {
            // Calls cudaFree() via DllImport,
            // receives error code and throws expection if not 0

            this.dataPointer = IntPtr.Zero;
        }
    }

    ~CudaEntity()
    {
        Dispose();
    }
}

{
    // this code works
    var myEntity = new CudaEntity();
    myEntity.Dispose();
}

{
    // This code cause a "invalid device pointer"
    // error on finalizer's call to cudaFree()
    var myEntity = new CudaEntity();
}

Answer 1

问题是终结器是在 GC 线程上执行的，在一个线程中分配的 CUDA 资源不能在另一个线程中使用。 CUDA 编程指南的片段：

多个主机线程可以执行
同一设备上的设备代码，但通过
设计，主机线程可以执行
仅在一台设备上的设备代码。作为一个
结果，多个主机线程
需要执行设备代码
多个设备。此外，任何 CUDA
通过运行时创建的资源
在一个主机线程中不能使用
来自另一个主机线程的运行时。

最好的选择是使用 using 语句，它确保 Dispose() 方法始终在“受保护”代码块的末尾被调用：

using(CudaEntity ent = new CudaEntity())
{

}