按重叠时间范围对 pandas 数据帧进行分区

Question

我有一个带有日期时间列（以及许多其他列）的 pandas 数据框。我想将其划分为一段持续时间（例如 10 秒）的帧，并具有一些预定义的重叠（例如 2 秒）。因此，我想有效地将​​数据帧分区为每 8 秒（= 10 秒持续时间 - 2 秒重叠），但在该分区中收集接下来 10 秒的数据。所以我想要对应于时间 (0, 10), (8, 18), (16, 26)... 等的分区。我怎样才能有效地做到这一点？

据我了解，Grouper 中的频率可以根据时间进行分区，但无法按照我的要求处理重叠。

Answer 1

假设源DataFrame已创建为：

np.random.seed(0)    # To get repeatable result
i = pd.date_range('2022-01-01 08:00:00', '2022-01-01 08:00:30', freq='S')
df = pd.DataFrame(index=i, data = {'Amount': np.random.randint(0, 100, len(i))})

因此可以根据索引来选择时间范围，操作速度相当快。
如果你的DataFrame有其他索引，你应该将时间列设置为索引。

然后，根据您的定义对重叠切片执行某些操作，
您可以运行例如：

for t1 in pd.date_range(df.index.min(), df.index.max()
        + pd.Timedelta('1S'), freq='8S'):
    t2 = t1 + pd.Timedelta('9S')
    print(f'Range [{t1},  {t2}]')
    print(df.loc[t1:t2])
    print('----')

在上面的代码中，当前切片只有一个 print 操作。
我得到的前 2 个切片是：

Range [2022-01-01 08:00:00,  2022-01-01 08:00:09]
                     Amount
2022-01-01 08:00:00      44
2022-01-01 08:00:01      47
2022-01-01 08:00:02      64
2022-01-01 08:00:03      67
2022-01-01 08:00:04      67
2022-01-01 08:00:05       9
2022-01-01 08:00:06      83
2022-01-01 08:00:07      21
2022-01-01 08:00:08      36
2022-01-01 08:00:09      87
----
Range [2022-01-01 08:00:08,  2022-01-01 08:00:17]
                     Amount
2022-01-01 08:00:08      36
2022-01-01 08:00:09      87
2022-01-01 08:00:10      70
2022-01-01 08:00:11      88
2022-01-01 08:00:12      88
2022-01-01 08:00:13      12
2022-01-01 08:00:14      58
2022-01-01 08:00:15      65
2022-01-01 08:00:16      39
2022-01-01 08:00:17      87
----

在代码的目标版本中，您可以：

1. 定义一个返回 df 切片的函数：

   def getSlice(t1):
       t2 = t1 + pd.Timedelta('9S')
       返回 df.loc[t1:t2]
   

2. 在列表理解中生成切片列表：

   slices = [ getSlice(t1) for t1 in pd.date_range(df.index.min(),
       df.index.max() + pd.Timedelta('1S'), freq='8S') ]
   

当您打印 slices[0] 和 slices[1] 时，您应该得到相同的结果
结果如上打印。