table() 的 as.data.frame 来汇总频率

Question

在R中，我正在寻找一种节省内存的方法来创建表格数据的摘要，如下所示。

以我使用 table() 总结的 data.frame foo 为例，后面是 as.data.frame () 获取频率计数。

foo <- data.frame(x= c('a', 'a', 'a', 'b', 'b', 'b'), y=c('ab', 'ac', 'ad', 'ae', 'fx', 'fy'))
bar <- as.data.frame(table(foo), stringsAsFactors=F)

这会导致 bar 的频率计数如下。

   x  y Freq
1  a ab    1
2  b ab    0
3  a ac    1
4  b ac    0
5  a ad    1
6  b ad    0
7  a ae    0
8  b ae    1
9  a fx    0
10 b fx    1
11 a fy    0
12 b fy    1

我遇到的问题是，当 x 和 y 有多个级别时，它会开始使用大量内存 > 64 GB。我想知道是否有其他方法可以进行这种频率计数。第一步，我设置了 stringsAsFactors=F，但这并不能完全解决问题。

Answer 1

我有这种快速（稀疏）交叉制表的方法。我认为还有进一步优化的可能性，但对于大型数据集来说，这对我来说已经足够好了。关键是使用plyr包中的ninteraction来快速为每行生成一个数字id。

tab <- function(df, drop = TRUE) {
  id <- plyr::ninteraction(df)
  ord <- order(id)

  df <- df[ord, , drop = FALSE]
  id <- id[ord]

  freq <- rle(id)$lengths
  labels <- unrowname(df[cumsum(freq), , drop = FALSE])

  data.frame(labels, freq)
}

Answer 2

查看 Matrix 包中的 xtabs 方法，该方法执行稀疏交叉制表。

Answer 3

library(plyr)
ddply(foo, ~ x + y, nrow,.drop=FALSE)