在 R 中加速将 person 重塑为周期格式数据帧

Question

我有一个包含以人为本的格式的纵向数据的数据集，如下所示：

pid varA_1 varB_1 varA_2 varB_2 varA_3 varB_3 ...
1   1      1      0      3      2      1
2   0      1      0      2      2      1
...
50k 1      0      1      3      1      0

这会产生一个大型数据框，其中至少有 50k 个观测值和最多 29 个周期测量的 90 个变量。

我想获得一种更面向周期的格式，例如：

pid index start stop varA varB varC ...
1   1     ...
1   2     
...
1   29
2   1

我尝试了不同的方法来重塑数据帧（*apply，plyr，reshape2、循环、附加与预填充所有数字矩阵等），但似乎没有获得足够的处理时间（子集+40分钟）。我一路上得到了关于要避免什么的各种提示，但我仍然不确定我是否错过了一些瓶颈或可能的加速。

是否有一种最佳方法来进行这种数据处理，以便我可以评估在纯 R 代码中可以实现的最佳情况处理时间？ Stackoverflow 上也有类似的问题，但没有得到令人信服的答案。 。

Answer 1

首先，让我们构建数据示例（我使用 5e3 而不是 50e3 以避免配置出现内存问题）：

nObs <- 5e3
nVar <- 90
nPeriods <- 29

dat <- matrix(rnorm(nObs*nVar*nPeriods), nrow=nObs, ncol=nVar*nPeriods)

df <- data.frame(id=seq_len(nObs), dat)

nmsV <- paste('Var', seq_len(nVar), sep='')
nmsPeriods <- paste('T', seq_len(nPeriods), sep='')

nms <- c(outer(nmsV, nmsPeriods, paste, sep='_'))
names(df)[-1] <- nms

现在使用 stats::reshape 更改格式：

df2 <- reshape(df, dir = "long", varying = 2:((nVar*nPeriods)+1), sep = "_")

我不确定这是否是您正在寻找的快速解决方案。

Answer 2

如果内容适合内存，那么老化的 stack() 函数可以非常快。

对于大型集，使用（透明）sqlite 数据库作为中间是最好的。试试Gabor的sqldf包，googlecode上有很多例子。

http://code.google.com/p/sqldf/