doMC、doSNOW、doSMP 与 doMPI：为什么“foreach”的各种并行后端不可用？功能等价？

Question

我已经在不同的机器上运行了一些测试代码，总是得到相同的结果。我认为各种 do... 包背后的理念是它们可以互换用作 foreach 的 %dopar% 的后端。为什么情况并非如此？

例如，此代码片段有效：

library(plyr)
library(doMC)
registerDoMC()
x <- data.frame(V= c("X", "Y", "X", "Y", "Z" ), Z = 1:5)
ddply(x, .(V), function(df) sum(df$Z),.parallel=TRUE)

虽然每个代码片段都失败：

library(plyr)
library(doSMP)
workers <- startWorkers(2)
registerDoSMP(workers)
x <- data.frame(V= c("X", "Y", "X", "Y", "Z" ), Z = 1:5)
ddply(x, .(V), function(df) sum(df$Z),.parallel=TRUE) 
stopWorkers(workers)

library(plyr)
library(snow)
library(doSNOW)
cl <- makeCluster(2, type = "SOCK")
registerDoSNOW(cl)
x <- data.frame(V= c("X", "Y", "X", "Y", "Z" ), Z = 1:5)
ddply(x, .(V), function(df) sum(df$Z),.parallel=TRUE) 
stopCluster(cl)

library(plyr)
library(doMPI)
cl <- startMPIcluster(count = 2)
registerDoMPI(cl)
x <- data.frame(V= c("X", "Y", "X", "Y", "Z" ), Z = 1:5)
ddply(x, .(V), function(df) sum(df$Z),.parallel=TRUE) 
closeCluster(cl)

在所有四种情况下，foreach(i = 1:3,.combine = "c") %dopar% {sqrt(i)} 产生完全相同的结果，所以我知道我已经安装了这些软件包并且在我测试过它们的每台机器上正常工作。

doMC 与 doSMP、doSNOW 和 doMPI 有何不同？

Answer 1

doMC 分叉当前 R 进程，因此它继承所有现有变量。所有其他后端仅传递显式请求的变量。不幸的是我没有意识到这一点，并且只使用 doMC 进行了测试 - 这是我希望在下一个版本的 plyr 中修复的问题。