R 具有两个标识符的事件的重叠周期

Question

我试图找到具有两个标识符的数据框的重叠周期，这与该主题中提出的其他问题不同，其中重叠观察必须仅针对一个标识符进行计数。

在我的数据框中，每笔交易都有一个唯一的 ID，并且进行交易的每个公司都有一个唯一的公司标识符。我试图找到每个公司标识符的重叠周期，按交易 ID 进行计数。

我使用 @Waldi 的代码创建了这个可重现的示例，在本主题中找到（我只在示例数据框中添加了公司标识符或“FirmID”）：

• 如何查找R 中非常大的数据集中具有重叠间隔日期的 ID 的比例

创建类似数据集的代码：

library (data.table)

size = 1e5

df <- data.frame(
  ID = sample(1:round(size / 5, 0)),
  FirmID = sample(1:20000),
  period = sample(c(5,10,30,45), size, replace = TRUE),
  start = sample(seq(
    as.Date('1999/01/01'), as.Date('2000/01/01'), by = "day"
  ), size, replace = TRUE)
) %>% mutate(end = start + period)

查找重叠周期的代码：

dt <- data.table(df, key = c("start", "end"))[, `:=`(row = 1:nrow(df))]

setkey(dt,FirmID,start,end)
foverlaps(dt,dt,by.x=c("FirmID","start","end"),by.y=c("FirmID","start","end"))[
  ,.(noverlap=.N),by=.(FirmID,row)][
    ,.(overlap = max(noverlap>1)),by=FirmID][
      ,.(n=.N),by=.(overlap)][
        ,pct:=n/sum(n)][]

此代码的唯一问题是它显示重叠公司的数量，而不是公司标识符内重叠交易的数量。

overlap     n     pct
1:       0  5333 0.26665
2:       1 14667 0.73335

如何针对公司标识符内重叠的交易 ID 更改此代码？我自己做的一项改变并没有产生令人满意的结果：

setkey(dt,FirmID,start,end)
foverlaps(dt,dt,by.x=c("FirmID","start","end"),by.y=c("FirmID","start","end"))[
  ,.(noverlap=.N),by=.(ID,row)][
    ,.(overlap = max(noverlap>1)),by=ID][
      ,.(n=.N),by=.(overlap)][
        ,pct:=n/sum(n)][]

   overlap     n     pct
1:       0  5333 0.26665
2:       1 14667 0.73335

Answer 1

我很难理解另一种情况的解决方案，
所以我不知道如何调整该版本，
但我相信在这种情况下您可以通过内部非等连接实现您想要的结果：

dt <- data.table(df, key = c("FirmID", "ID", "start", "end"))
dt[, firm_total := .N, by = "FirmID"][
    dt, .(FirmID, firm_total), on = .(FirmID, ID < ID, start <= end, end >= start), nomatch = NULL, mult = "all"][
        , .(n = .N, pct = .N / (firm_total[1L] * (firm_total[1L] - 1L) / 2L)), by = "FirmID"]

我们避免使用 ID ID <; 的连接中出现冗余行。身份证号
（请注意，此处应解释为左侧列的 ID < 右侧列的 ID）。
可能会发生冗余，因为，
如果 ID x 与 ID y 重叠，
y 与 x 重叠。

如果你考虑所有的 ID 对并将它们放入一个矩阵中，
最大重叠数是下三角形中元素的数量，
可以用n * (n - 1) / 2计算，
这就是我们最初添加 firm_total 的原因。

我没有进行广泛的测试，但这个版本可能更适合这种情况。
foverlaps 的文档指出，它主要针对一个表比另一个表小得多的连接，
并解释了为什么它可能是一项昂贵的操作。
您正在进行自加入，
所以两张桌子的大小相同。

以及 table.express 版本的解决方案，因为为什么不呢：

library(table.express)

dt %>%
    group_by(FirmID) %>%
    mutate(firm_total = .N) %>%
    inner_join(dt, FirmID, ID < ID, start <= end, end >= start, .expr = TRUE) %>%
    select(FirmID, firm_total) %>%
    group_by(FirmID) %>%
    summarize(n = .N, pct = .N / (firm_total[1L] * (firm_total[1L] - 1L) / 2))

编辑：如果您想要重叠列，您可以使用下三角的大小 - n 来计算。