GPU 上的蒙特卡罗

Question

今天我和一个朋友谈话，他告诉我他尝试使用 GPU 进行一些蒙特卡罗模拟。有趣的是，他告诉我，他想在不同的处理器上随机抽取数字，并假设它们不相关。但他们不是。

问题是，是否存在一种方法可以在多个GPU上绘制独立数字集？他认为为每个人使用不同的种子可以解决问题，但事实并非如此。

如果需要任何澄清，请告诉我，我会请他提供更多详细信息。

Answer 1

要生成完全独立的随机数，需要使用并行随机数生成器。本质上，您选择一个种子，它会生成M个独立的随机数流。因此，在每个 M 个 GPU 上，您都可以从独立的流中生成随机数。

在处理多个 GPU 时，您需要意识到您想要：

• GPU 内的独立流（如果 RN 由每个 GPU 生成）
• GPU 之间的独立流。

事实证明，在每个 GPU 核心上生成随机数是很棘手的（请参阅这个问题我不久前问过）。当我一直在研究 GPU 和 RN 时，如果您一次生成大量数字，您只会在 GPU 上生成随机数时获得加速。

相反，我会在 CPU 上生成随机数，因为：

• 在 CPU 上生成它们并进行传输更容易，有时更快。
• 您可以使用经过良好测试的并行随机数生成器
• 现成的随机数生成器类型可用于GPU 非常有限。
• 当前的 GPU 随机数库仅从少量分布生成 RN。

---

在评论中回答您的问题：随机数取决于什么？

一个非常基本的随机数生成器是线性同余生成器。尽管该生成器已被较新的方法超越，但它应该能让您了解它们的工作原理。基本上，第 i 个随机数取决于第 (i-1) 个随机数。正如您所指出的，如果您运行两个流足够长的时间，它们将会重叠。最大的问题是，你不知道它们什么时候会重叠。

Answer 2

为了生成iid统一变量，您只需使用不同的种子初始化生成器。借助 Cuda，您可以使用 NVIDIA Curand 库来实现 Mersenne Twister 生成器。

例如，以下代码由 100 个内核并行执行，将绘制 (R^10)-uniform 的 10 个样本

__global__ void setup_kernel(curandState *state,int pseed)
{
    int id =  blockIdx.x * blockDim.x + threadIdx.x;
    int seed = id%10+pseed;

    /* 10 differents seed for uncorrelated rv, 
    a different sequence number,    no offset */
    curand_init(seed, id, 0, &state[id]);
}

Answer 3

如果您使用任何“好的”生成器（例如 Mersenne Twister 等），则具有不同随机种子的两个序列将不相关，无论是在 GPU 还是 CPU 上。因此，我不确定你所说的在不同 GPU 上采用不同种子是不够的是什么意思。你能详细说明一下吗？