R 中的无限函数/循环：数据管理

Question

我正在尝试重构一个巨大的数据框（大约 12.000 个案例）：在旧的数据框中，一个人是一行，大约有 250 列（例如，人 1、测试 A1、测试 A2、测试 B，...），我想要所有结果测试 A 的总和（1 - 10 个 A 和该人的 24 个项目 (AY) 在一列中，因此一个人最终有 24 列和 10 行。还有一个固定的数据框项目 AY 开始之前的部分（个人信息，如年龄、性别等），我想保留原样（修复数据）。 该函数/循环适用于 30 个案例（我提前尝试过），但对于 12.000 个案例，它仍在计算，现在已经计算了近 24 小时。有什么想法吗？

restructure <- function(data, firstcol, numcol, numsets){
    out <- data.frame(t(rep(0, (firstcol-1)+ numcol)) )
    names(out) <- names(daten[0:(firstcol+numcol-1)])
      for(i in 1:nrow(daten)){
         fixdata <- (daten[i, 1:(firstcol-1)])

          for (j in (seq(firstcol, ((firstcol-1)+ numcol* numsets), by = numcol))){
              flexdata <- daten[i, j:(j+numcol-1)]
              tmp <- cbind(fixdata, flexdata)
              names(tmp) <- names(daten[0:(firstcol+numcol-1)])
              out <- rbind(out,tmp)
          }  
      }
    out <- out[2:nrow(out),]
    return(out)
}

提前致谢！

Answer 1

原因如下：在每次迭代中，您都会rbind 到out。随着数据的增长，每次迭代将花费更长的时间 - 因此您必须预期运行时间会随着数据集的增加而不仅仅是线性增长。

因此，正如 Andrie 所说，您可以查看 melt。

或者您可以使用核心 R：stack 来完成此操作。
然后您需要自己将固定部分绑定到结果（您需要使用 each = n.var.cols 重复固定列。

第三种替代方案是 array2df 来自封装数组助手。

Answer 2

我同意其他人的观点，查看 reshape2 和 plyr 包，只是想在另一个方向添加一点。特别是 melt、cast、dcast 可能会对您有所帮助。另外，使用智能列名称可能会有所帮助，例如：

As<-grep("^testA",names(yourdf))
# returns a vector with the column position of all testA1 through 10s.

此外，如果您在 test# 和测试类型上“花费”了 data.frame 的两个维度，那么显然没有留下任何维度人。当然，您可以通过 ID 来识别它们，这样您可以在绘图时添加美感，但根据您想要执行的操作，您可能希望将它们存储在 list 中。因此，您最终会得到一个人员列表，其中每个人都有一个 data.frame。我不确定你想做什么，但仍然希望这会有所帮助。

Answer 3

也许您没有获得 plyr 或其他用于重塑数据组件的函数。更直接、更底层的东西怎么样？如果您当前只有一行 A1、A2、A3...A10、B1-B10 等，然后从数据框中提取这一块内容，我猜是第 11-250 列，然后将其制作出来切出你想要的形状并将它们重新组合在一起。

yDat <- data[, 11:250]
yDF <- lapply( 1:nrow(data), function(i) matrix(yDat[i,], ncol = 24) )
yDF <- do.call(rbind, y) #combine the list of matrices returned above into one
yDF <- data.frame(yDF) #get it back into a data.frame
names(yDF) <- LETTERS[1:24] #might as well name the columns

这是以您想要的形式获取大量数据的最快方法。 lapply 函数所做的就是向每一行添加维度属性，以便它们达到您想要的形状，然后将它们作为列表返回，并与后续行一起进行处理。但现在它没有来自主 data.frame 的任何 ID 信息。您只需将前 10 列的每一行复制 10 次。或者您可以使用便利的函数merge来帮助解决这个问题。将前 10 行中已有的公共列作为新 data.frame 的列之一，然后将它们合并。

yInfo <- data[, 1:10]
ID <- yInfo$ID
yDF$ID <- rep( yInfo$ID, each = 10 )
newDat <- merge(yInfo, yDF)

现在你已经完成了......大多数情况下，你可能想要创建一个额外的列来命名新行

newDat$condNum <- rep(1:10, nrow(newDat)/10)

这将是运行速度非常快的代码。您的 data.frame 实际上根本没有那么大，上面的大部分内容将在几秒钟内执行。

这就是您应该如何看待 R 中的数据。并不是说没有方便的函数来处理大部分数据，而是您应该这样做以尽可能避免循环。从技术上讲，上面发生的事情只有一个循环，即在开始时使用的lapply。它在该循环中也很少（当您使用它们时它们应该是紧凑的）。你正在用标量代码编写，而在 R 中它非常非常慢......即使你在这样做时并没有真正滥用内存和增长数据。此外，请记住，虽然您不能总是避免某种循环，但您几乎总是可以避免嵌套循环，这是最大的问题之一。

（阅读此以更好地理解此代码中的问题......那里犯了大部分大错误）