将集合操作从 R 的数据帧移植到数据表：如何识别重复行？

Question

[更新 1：正如 Matthew Dowle 指出的那样，我在 R-Forge 上使用 data.table 版本 1.6.7，而不是 CRAN。您不会在早期版本的 data.table 中看到相同的行为。]

作为背景：我正在移植一些小实用函数来对数据帧的行或数据帧对执行设置操作（即每一行都是集合中的一个元素），例如唯一 - 从列表、并集、交集、集合差值等创建集合。这些模仿 Matlab 的 intersect(...,'rows'), setdiff(...,'rows') 等，这些在 R 中似乎没有对应的操作（R 的集合操作仅限于向量和列表，但不包括矩阵行或数据帧）。这些小功能的示例如下。如果数据帧的此功能已存在于某些包或基础 R 中，我愿意接受建议。

我一直在将这些数据迁移到数据表中，当前方法中的一个必要步骤是查找重复的行。当执行 duplicated() 时，会返回错误，指出数据表必须有键。这是一个不幸的障碍 - 除了设置键（这不是通用解决方案并增加计算成本）之外，还有其他方法来查找重复对象吗？

这是一个可重现的示例：

library(data.table)
set.seed(0)
x   <- as.data.table(matrix(sample(2, 100, replace = TRUE), ncol = 4))
y   <- as.data.table(matrix(sample(2, 100, replace = TRUE), ncol = 4))

res3    <- dt_intersect(x,y)

产生此错误消息：

Error in duplicated.data.table(z_rbind) : data table must have keys

代码按原样适用于数据帧，尽管我已使用模式 dt_operation 命名每个函数。

有什么办法可以解决这个问题吗？设置键仅适用于整数，这是我无法对输入数据假设的约束。那么，也许我缺少一种使用数据表的巧妙方法？

---

集合操作函数示例，其中集合的元素是数据行：

dt_unique       <- function(x){
    return(unique(x))
}

dt_union        <- function(x,y){
    z_rbind     <- rbind(x,y)
    z_unique    <- dt_unique(z_rbind)
    return(z_unique)
}

dt_intersect    <- function(x,y){
    zx          <- dt_unique(x)
    zy          <- dt_unique(y)

    z_rbind     <- rbind(zy,zx)
    ixDupe      <- which(duplicated(z_rbind))
    z           <- z_rbind[ixDupe,]
    return(z)
}

dt_setdiff      <- function(x,y){
    zx          <- dt_unique(x)
    zy          <- dt_unique(y)

    z_rbind     <- rbind(zy,zx)
    ixRangeX    <- (nrow(zy) + 1):nrow(z_rbind)
    ixNotDupe   <- which(!duplicated(z_rbind))
    ixDiff      <- intersect(ixNotDupe, ixRangeX)
    diffX       <- z_rbind[ixDiff,]
    return(diffX)
}

---

注 1：这些辅助函数的预期用途之一是查找 x 中的键值不在 y 中的键值中的行。这样，我就可以在计算 x[y] 或 y[x] 时找到 NA 可能出现的位置。尽管这种用法允许为 z_rbind 对象设置键，但我不希望将自己限制在这个用例上。

注 2：对于相关帖子，这里有一篇关于在数据帧上运行 unique 的文章，使用更新的 data.table 包运行它取得了出色的结果。 这是一篇关于运行 >数据表上唯一。

Answer 1

duplicated.data.table 需要相同的修复 unique.data.table 得到[编辑：现已在 v1.7.2 中完成]。请提出另一个错误报告：bug.report(package="data.table")。为了其他人观看的利益，您已经在使用 R-Forge 的 v1.6.7，而不是 CRAN 上的 1.6.6。

但是，在注释 1 上，有一个“不加入”惯用语：

x[-x[y,which=TRUE]]

另请参阅 FR#1384 （新的“not”和“whichna”参数？）对用户来说更容易，并且链接到 不匹配线程，其中有更多细节。

---

更新。现在在 v1.8.3 中，已经实现了 not-join。

DT[-DT["a",which=TRUE,nomatch=0],...]   # old idiom
DT[!"a",...]                            # same result, now preferred.