如何使用 doSMP 初始化工作程序？

Question

有没有一种方法可以初始化类似于snow包中的clusterEvalQ和clusterExport的doSMP集群？例如：

x <- 1:10
y <- 10:1
z <- rnorm(10)
cl <- makeSOCKcluster(2)
clusterEvalQ(cl, library(quantmod))
clusterExport(cl, list("x","y","z"))
clusterEvalQ(cl, ls())
clusterEvalQ(cl, search())

doSMP 有一个 initEnvir 选项，但是 ?doSMP 说

 'initEnvir' 是每个工作线程在执行任何操作之前执行的函数
 任务的执行与 foreach 相关。其目的是
 初始化执行环境，或者一般的工作线程。
 仅当该工作人员至少执行时，它才会由该工作人员执行
 与 foreach 相关的一项任务。

每个工作人员都需要几个大对象的副本才能运行我发送到 foreach 的表达式。此外，我需要使用这些大对象的相同版本调用 foreach 数百次。每次调用 foreach 时都复制这些对象是低效的。

即使没有现成的方法来做到这一点，我也会很感激。

Answer 1

foreach 的第一个参数是 ...，它传输迭代对象以评估目标表达式。如果您只需要对象的一部分，那么使用 iter 只传递对象的一部分可能会更有效。

w <- startWorkers(workerCount = 4)
registerDoSMP(w)

foreach(x=iter(x),y=iter(y),z=iter(z) ) %dopar% (x*y*z)

调用环境中的对象仍然可用：

foreach(1:10 ) %dopar% (x*y*z)  # Somewhat repetitious # 

zed <- 20:1
foreach(x=iter(x) ) %dopar% (x*zed)

Answer 2

试试这个：

library(doSMP)
library(foreach)
w <- startWorkers(workerCount = 4)
registerDoSMP(w)
foreach(i = 1:3) %dopar% sqrt(i)

或者你可以使用 doSNOW 和

registerDoSNOW(cl)

http://cran.r- project.org/web/packages/doSNOW/doSNOW.pdf

最后，还有 doMC（不适用于 Windows）

library(doMC)
registerDoMC()
foreach(i = 1:3) %dopar% sqrt(i)

所有这些技术都在 2.14 中的新并行包之前工作，我相信它已经对这些技术进行了一些统一。