使用方便的 I/O 将大列表划分为块

Question

我有一个很大的列表，大小约为。 1.3GB。我正在寻找 R 中最快的解决方案来生成块并将它们保存为任何方便的格式，以便：

a）每个保存的块文件大小小于 100MB

b）原始文件可以方便快捷地将列表加载到新的 R 工作区中

编辑 II：这样做的原因是 R 解决方案可以绕过 GitHub 每个文件 100MB 的文件大小限制。 R 的限制是由于一些外部非技术限制造成的，我无法评论。

这个问题的最佳解决方案是什么？

编辑 I：因为评论中提到该问题的一些代码有助于创建一个更好的问题：

An R-example of a list with size of 1.3 GB：

li <- list(a = rnorm(10^8),
           b =  rnorm(10^7.8))

Answer 1

因此，您想要拆分文件并将其重新加载到单个数据帧中。

有一个问题：要减小文件大小，压缩是明智的做法，但文件大小并不完全确定。您可能需要调整一个参数。

以下是我用于类似任务的一段代码（尽管与 GitHub 无关）。

split.file 函数采用 3 个参数：数据帧、每个文件中要写入的行数以及基本文件名。例如，如果基本名称是“myfile”，则文件将为“myfile00001.rds”、“myfile00002.rds”等。
该函数返回写入的文件数。

join.files 函数采用基本名称。

注意：

• 使用 rows 参数找出适合 100 MB 的正确大小。这取决于您的数据，但对于类似的数据集，固定大小应该可以。但是，如果您正在处理非常不同的数据集，这种方法可能会失败。
• 读取时，您需要拥有数据帧占用的两倍内存（因为首先读取较小数据帧的列表，然后进行 rbinded。
• 该数字写为 5 位数字，但您可以更改它。目标是按字典顺序排列名称，以便在连接文件时，行的顺序与原始文件的顺序相同

：示例

split.file <- function(db, rows, basename) {
  n = nrow(db)
  m = n %/% rows
  for (k in seq_len(m)) {
    db.sub <- db[seq(1 + (k-1)*rows, k*rows), , drop = F]
    saveRDS(db.sub, file = sprintf("%s%.5d.rds", basename, k),
            compress = "xz", ascii = F)
  }
  if (m * rows < n) {
    db.sub <- db[seq(1 + m*rows, n), , drop = F]
    saveRDS(db.sub, file = sprintf("%s%.5d.rds", basename, m+1),
            compress = "xz", ascii = F)
    m <- m + 1
  }
  m
}

join.files <- function(basename) {
  files <- sort(list.files(pattern = sprintf("%s[0-9]{5}\\.rds", basename)))
  do.call("rbind", lapply(files, readRDS))
}

：

n <- 1500100
db <- data.frame(x = rnorm(n))
split.file(db, 100000, "myfile")
dbx <- join.files("myfile")
all(dbx$x == db$x)