“foreach” Loop ：使用 R 中的所有核心（特别是如果我们在 foreach 循环内发送 sql 查询）

Question

我打算使用“foreach”来利用 CPU 中的所有内核。问题是我需要在循环内发送一个 sql 查询。该脚本在正常的“for”循环中工作正常，但当我将其更改为“foreach”时，它会给出以下错误。 错误是：

select: Interrupted system call    
select: Interrupted system call    
select: Interrupted system call    
Error in { : task 1 failed - "expired MySQLConnection"

我使用的代码是：

library(foreach)
library(doMC)
library(RMySQL)
library(multicore)
registerDoMC(cores=6)
m <- dbDriver("MySQL", max.con = 100)
con <- dbConnect(m, user="*****", password = "******", host ="**.**.***",dbname="dbname")
list<-dbListTables(con)
foreach(i = 1:(length(list))%dopar%{
  query<-paste("SELECT * FROM ",list[i]," WHERE `CLOSE` BETWEEN 1 AND 100",sep="")
  t<-dbGetQuery(con,query)
}

虽然“foreach”在我的系统中出于所有其他目的工作正常，但仅在 sql 查询的情况下才会给出错误。有没有办法在“foreach”循环内发送 sql 查询？

Answer 1

我的建议是这样的：
将数据库查询移到循环之外，并锁定访问，这样您就不会执行并行数据库查询。我认为这也会加快速度，因为您不会进行并行磁盘访问，但仍然能够进行并行处理。

含义（伪代码）
db = 连接到数据库
线程锁=lock();

帕福{
线程锁.lock
结果 = 数据库查询（将所有数据拉到此处，因为在加载时无法在不锁定数据库的情况下进行处理）
线程解锁
处理结果数据（现在只是数据，而不是 sql 对象）。
}