R：如何在不耗尽内存的情况下重新绑定两个巨大的数据帧

Question

我有两个数据帧 df1 和 df2，每个数据帧大约有 1000 万行和 4 列。我使用 RODBC/sqlQuery 将它们读入 R，没有任何问题，但是当我尝试重新绑定它们时，我收到了最可怕的 R 错误消息：无法分配内存。必须有更有效的方法来更有效地进行rbind——任何人都有他们最喜欢的技巧想要分享吗？例如，我在 sqldf 的文档中找到了这个示例：

# rbind
a7r <- rbind(a5r, a6r)
a7s <- sqldf("select * from a5s union all select * from a6s")

这是最好/推荐的方法吗？

更新 我使用上面 sqldf 调用中关键的 dbname = tempfile() 参数让它工作，正如 JD Long 在他对 这个问题

Answer 1

您可以让 SQLite 读取它们并在将它们发送到 R 之前将它们组合起来，而不是在开始时将它们读入 R，然后组合它们。这样，文件就不会单独加载到 R 中。

# create two sample files
DF1 <- data.frame(A = 1:2, B = 2:3)
write.table(DF1, "data1.dat", sep = ",", quote = FALSE)
rm(DF1)

DF2 <- data.frame(A = 10:11, B = 12:13)
write.table(DF2, "data2.dat", sep = ",", quote = FALSE)
rm(DF2)

# now we do the real work
library(sqldf)

data1 <- file("data1.dat")
data2 <- file("data2.dat")

sqldf(c("select * from data1", 
 "insert into data1 select * from data2", 
 "select * from data1"), 
 dbname = tempfile())

这给出了：

>  sqldf(c("select * from data1", "insert into data1 select * from data2", "select * from data1"), dbname = tempfile())
   A  B
1  1  2
2  2  3
3 10 12
4 11 13

如果行顺序，这个较短的版本也可以工作不重要：

sqldf("select * from data1 union select * from data2", dbname = tempfile())

请参阅 sqldf 主页 http://sqldf.googlecode.com 和 ?sqldf 了解更多信息。请特别注意文件格式参数，因为它们与 read.table 接近但不相同。在这里我们使用了默认值，所以这不是一个问题。

Answer 2

请注意 data.table R 包可对具有数百万条记录的对象进行高效操作。

该软件包的 1.8.2 版本提供了 rbindlist 函数，通过它您可以非常有效地实现您想要的目标。因此，您可以：而不是 rbind(a5r, a6r)

library(data.table)
rbindlist(list(a5r, a6r))

Answer 3

尝试创建所需大小的 data.frame，然后使用下标导入数据。

dtf <- as.data.frame(matrix(NA, 10, 10))
dtf1 <- as.data.frame(matrix(1:50, 5, 10, byrow=TRUE))
dtf2 <- as.data.frame(matrix(51:100, 5, 10, byrow=TRUE))
dtf[1:5, ] <- dtf1
dtf[6:10, ] <- dtf2

我猜 rbind 会在没有预先分配其尺寸的情况下增长对象......我不确定，这只是一个猜测。今晚我将梳理“R 地狱”或“R 数据操作”。也许merge可以解决问题...

编辑

并且您应该记住，（也许）您的系统和/或R无法应对那么大的事情。尝试 RevolutionR，也许您会节省一些时间/资源。

Answer 4

为了使本线程中有关 union:ing 大文件的主题更加完整，请尝试在文件上使用 shell 命令来组合它们。在 Windows 中，这是带有“/B”标志的“COPY”命令。示例：

system(command =
         paste0(
           c("cmd.exe /c COPY /Y"
             , '"file_1.csv" /B'
             , '+ "file_2.csv" /B'
             , '"resulting_file.csv" /B'
           ), collapse = " "
         )
)#system

要求文件没有标题和相同的分隔符等。
shell 命令的速度和多功能性有时会带来很大的好处，因此在映射数据流时不要忘记 CLI 命令。