在另一个数据中查找数据。

Question

当使用大型数据集并应用使用多个数据列的功能时，我一直遇到一个计算时间问题。这是一个简化的示例：

require(data.table)
main_dt   <- data.table(Start=(1:2), End=c(2,2))
lookup_dt <- data.table(Year = 1:3, Amount = c(10,20,30))

so：

> main_dt
Start End
1:     1   2
2:     2   2

我想要的

> lookup_dt
   Year Amount
1:    1     10
2:    2     20
3:    3     30

是在data.table main_dt 中添加一列，其中包括 start 和之间的年数量。结束。所以类似的东西，但是有一个引用错误。

main_dt[, Amount := lookup_dt[ Year >= start & Year <= end, sum(Amount)]]
Warning messages:
1: In Year >= Start :  longer object length is not a multiple of shorter object length
2: In Year <= End :  longer object length is not a multiple of shorter object length

如果金额仅取决于一个变量，我可以做：

main_dt[, GreaterAmount := lapply(Start, function(x) return (lookup_dt[Year >= x, sum(Amount)]))]

要

> main_dt
Start End Amount GreaterAmount
1:     1   2     30            60
2:     2   2     30            50

：可以，但是

• 我需要应用一个实际上取决于 start 和的函数 end
• 为每个行应用一个函数，会迅速减慢计算过程。矢量化解决方案将不胜感激。

期待任何建议！

谢谢你！ 马克斯

Answer 1

首先，加入列应该是同一类，因此我们可以将 main_dt $ end 转换为整数，或 main_df $ start 和 lookup_dt $年到数字。我将选择第一个：

main_dt[, End := as.integer(End)]
main_dt
#    Start   End
#    <int> <int>
# 1:     1     2
# 2:     2     2

从这里，我们可以进行加入分配：

main_dt[, Amount := lookup_dt[.SD, sum(Amount), on = .(Year >= Start, Year <= End), by = .EACHI]$V1 ]
main_dt
#    Start   End Amount
#    <int> <int>  <num>
# 1:     1     2     30
# 2:     2     2     20

如果您对 data.table 有点熟悉，请注意， .sd 实际上是 main_dt 的内容，因此 lookup_dt [.sd，...] 有效地是“ main_dt fuld of lookup_dt” 。从那里， on = 应该是正常的， sum（量）是您要汇总的。这里唯一介绍的新事物是使用 by = .easti ，这可能会令人困惑。为此链接：

• https://stackoverflow.com/a/27004566/3358272