CUDA DLL 上的 C# P/Invoke 最终导致 AccessViolationException

Question

这让我发疯。我已经查看了所有内容，但不确定我是否完全理解导致此错误的原因。

我正在调用一个 DLL（我已将其编码为单独的项目），该 DLL 对我正在使用的某些数据运行 CUDA 内核。尽管如此，我怀疑这个问题不是由 CUDA 引起的，因为代码已经过测试并且至少可以运行一次，通常在导致 AccessViolationException 之前运行 64-100 次。

问题是，我传递了三个公共静态数组：

public static float[] neuronInputs;
public static float[] connectionOutputs;
public static int[] calcOrder;

来自neuronInputs的数据被复制到GPU上，进行操作，然后复制回connectionOutputs（calcOrder只能读取，不能写入）。我使用 connectionOutputs 数组执行一系列操作。然后我重写 NeuronInputs 数组，并将其发送回 GPU。如此反复，直至失败。但它总是失败。

我调用这个函数：

[DllImport("CUDANeural.dll")] 
 static extern void GenerateSubstrateConnections(
 [In, Out]    [MarshalAs(UnmanagedType.LPArray)]  float[] neuronInputs,
 [In, Out] [MarshalAs(UnmanagedType.LPArray)] int[] calcOrder,
 [In, Out]      [MarshalAs(UnmanagedType.LPArray)] float[] outWeights
    );

我只为三个数组分配一次内存，并为每个数组分配一个大块。我已经在托管端对其进行了测试，并且我无法在 CUDA 代码内的数组之外进行索引。

我想我的问题是，是什么导致了这个 AccessViolationException？假设它不是 CUDA 代码。

编辑： 这是来自非托管端的调用

extern "C" __declspec(dllexport) void GenerateSubstrateConnections(
float* neuronInputs, int* calcOrder, float* outWeights);

看来我对编程的 CUDA 方面可能是错误的。我在调用GenerateSubstrateConnections 的末尾添加了cudaExitThread() 调用，这似乎解决了问题。但是，为了澄清起见，我正在调用一个不同的函数：

[DllImport("CUDANeural.dll")]
static extern void DebugSubstrateConnections(
[In, Out]     IntPtr neuronInputs,
[In, Out]  IntPtr calcOrder,
[In, Out]      IntPtr outWeights
);

在托管代码中调用GenerateSubstrateConnections之前，我固定GCHandles

 SubstrateDescription.inputHandle = GCHandle.Alloc(SubstrateDescription.neuronInputs, GCHandleType.Pinned);
 SubstrateDescription.connectionHandle = GCHandle.Alloc(SubstrateDescription.outputConnections, GCHandleType.Pinned);
calcHandle = GCHandle.Alloc(calcOrder, GCHandleType.Pinned);

然后调用

GenerateSubstrateConnections(
SubstrateDescription.inputHandle.AddrOfPinnedObject(), 
calcHandle.AddrOfPinnedObject(),
SubstrateDescription.connectionHandle.AddrOfPinnedObject());

我不完全确定这是否有必要，但我知道它有效（当前）。谢谢大家的评论，他们帮助我解决了这个问题。

Answer 1

我什至不确定您是否可以对 CUDA 函数执行简单的 pInvoke，因为它们不在主处理器上运行。直接使用本机 CUDA API 的最佳选择可能是使用 C++/CLI。 nVidia 刚刚为此发布了一个支持包。
其他更简单的选项包括使用 OPENCL，它具有名为 OpenTK 的 .Net 库，它为大多数用途提供托管包装器。

Answer 2

也许是线程安全问题。由于您使用的是静态内存，因此您应该锁定对象，或使用其他一些同步选项，除非您完全确定它是单线程的。