如何重写我的 R 代码以进行多核处理？

Question

我有需要进入“并行化”阶段的 R 代码。我是新手，所以如果我使用了错误的术语，请原谅我。我有一个流程，只需一次一个人地处理一个人，然后最后对每个人进行平均。对于每个人来说，这个过程都是完全相同的（它是布朗桥），我只需为超过 300 个人执行此操作。所以，我希望这里有人知道如何更改我的代码以便生成它？或并行化？或者不管怎么说，确保我现在可以使用的 48 个 CPU 可以帮助减少用我的小笔记本电脑计算这个问题所需的 58 天。在我的脑海里，我只会将 1 个个体发送到一个处理器。让它运行脚本，然后发送另一个脚本......如果有意义的话。

下面是我的代码。我试图在其中发表评论，并指出我认为代码需要更改的地方。

for (n in 1:(length(IDNames))){ #THIS PROCESSES THROUGH EACH INDIVIDUAL 

#THIS FIRST PART IS JUST EXTRACTING THE DATA FROM MY TWO INPUT FILES.  
#I HAVE ONE FILE WITH ALL THE LOCATIONS AND THEN ANOTHER FILE WITH A DATE RANGE.  
#EACH INDIVIDUAL HAS DIFFERENT DATE RANGES, THUS IT HAS TO PULL OUT EACH INDIVIDUALS 
#DATA SET SEPARATELY AND THEN RUN THE FUNCTION ON IT.

    IndivData = MovData[MovData$ID==IDNames[n],]
    IndivData = IndivData[1:(nrow(IndivData)-1),]
    if (UseTimeWindow==T){
      IndivDates = dates[dates$ID==IDNames[n],]
      IndivData = IndivData[IndivData$DateTime>IndivDates$Start[1]&IndivData$DateTime<IndivDates$End[1],]
    }
    IndivData$TimeDif[nrow(IndivData)]=NA

    ########################
#THIS IS THE PROCESS WHERE I THINK I NEED THAT HAS TO HAVE EACH INDIVIDUAL RUN THROUGH IT

    BBMM <- brownian.bridge(x=IndivData$x, y=IndivData$y,
    time.lag = IndivData$TimeDif[1:(nrow(IndivData)-1)], location.error=20,
    area.grid = Grid, time.step = 0.1)

  #############################
  # BELOW IS JUST CODE TO BIND THE RESULTS INTO A GRID DATA FRAME I ALREADY CREATED.  
  #I DO NOT UNDERSTAND HOW THE MULTICORE PROCESSED CODE WOULD JOIN THE DATA BACK 
  #WHICH IS WHY IVE INCLUDED THIS PART OF THE CODE.  

    if(n==1){   #creating a data fram with the x, y, and probabilities for the first individual
      BBMMProbGrid = as.data.frame(1:length(BBMM[[2]]))
      BBMMProbGrid = cbind(BBMMProbGrid,BBMM[[2]],BBMM[[3]],BBMM[[4]])
      colnames(BBMMProbGrid)=c("GrdId","X","Y",paste(IDNames[n],"_Prob", sep=""))
    } else {                #For every other individual just add the new information to the dataframe
      BBMMProbGrid = cbind(BBMMProbGrid,BBMM[[4]])
      colnames(BBMMProbGrid)[n*2+2]=paste(IDNames[n],"_Prob", sep ="")
    }# end if  


    } #end loop through individuals

Answer 1

也不知道为什么这被否决了。我认为foreach 包就是您想要的。前几个 pdf 文件包含非常清晰的有用信息。基本上将你想要为每个人做的事情写成一个函数。然后使用 foreach 将一个人的数据发送到一个节点来运行该函数（同时将另一个人发送到另一个节点等），然后使用 rbind 之类的东西编译所有结果。我已经使用过几次，效果很好。

编辑：我不想重新编写你的代码，因为我认为鉴于你已经做到了这一点，你将很容易掌握将其包装到函数中然后使用单行 foreach 的技能。

编辑2：评论太长，无法回复您。

我想既然你已经掌握了代码，你就可以将它放入一个函数中:)如果你仍在研究这个，那么考虑编写一个 for 循环来循环你的主题并做可能会有所帮助该主题所需的计算。然后，for 循环就是您在函数中想要的。我认为在您的代码中，一切都取决于“area.grid”。然后您可以摆脱大部分 [n]，因为每次迭代数据只是一次子集。

也许：

pernode <- function(MovData) {
    IndivData = MovData[MovData$ID==IDNames[i],]
    IndivData = IndivData[1:(nrow(IndivData)-1),]
    if (UseTimeWindow==T){
                         IndivDates = dates[dates$ID==IDNames,]
                         IndivData = IndivData[IndivData$DateTime>IndivDates$Start[1]
                         &IndivData$DateTime<IndivDates$End[1],]
                         }
    IndivData$TimeDif[nrow(IndivData)]=NA

    BBMM <- brownian.bridge(x=IndivData$x, y=IndivData$y,
    time.lag = IndivData$TimeDif[1:(nrow(IndivData)-1)], location.error=20,
    area.grid = Grid, time.step = 0.1)

return(BBMM)
}

然后是这样的：

library(doMC)
library(foreach)
registerDoMC(cores=48) # or perhaps a few less than all you have

system.time(
  output <- foreach(i = 1:length(IDNames)), .combine = "rbind", .multicombine=T,
 .inorder = FALSE) %dopar% {pernode(i)}
)

如果没有一些测试数据，很难说是否是这样，让我知道你进展如何。

Answer 2

这是一个一般性的例子，因为我没有耐心阅读你的所有代码。将其传播到多个处理器的最快方法之一是使用 multicore 库和 mclapply（lapply 的并行版本）通过函数推送列表（列表中的各个项目将是您案例中 300 多个人中每个人的数据框）。

例子：

library(multicore)
result=mclapply(data_list, your_function,mc.preschedule=FALSE, mc.set.seed=FALSE)

Answer 3

据我了解您的描述，您可以访问分布式计算机集群。所以多核包将无法工作。你必须使用 Rmpi​​、snow 或 foreach。根据您现有的循环结构，我建议使用 foreach 和 doSnow 包。但你的代码看起来就像你有很多数据。您可能必须检查以减少将发送到节点的数据（仅需要的数据）。