比较不同数据帧之间的日期时间

Question

我有两个不同的数据框。

df1= 
index Time
0   2009-09-13 01:17:00
1   2009-09-13 02:17:00
2   2009-09-13 03:17:00
3   2009-09-13 04:17:00
4   2009-09-13 05:17:00
............

这是一个时间序列数据，每小时间隔总共 10 天。 我

df2=
    Report Time                 x
0   2009-09-13 01:17:00         1
1   2009-09-13 02:20:00         27
2   2009-09-13 02:25:00         1
3   2009-09-13 05:33:00         100
..............

想通过“df2”迭代“df1”每小时时间数据，并将“x”求和为其每小时值。然后每小时的数据将存储x值。

输出应如下所示：

index Time                    x
0   2009-09-13 01:17:00       1
1   2009-09-13 02:17:00      28
2   2009-09-13 03:17:00       0
3   2009-09-13 04:17:00       0
4   2009-09-13 05:17:00       100

请注意，数据集“df1”的所有 x 值应在同一小时内添加在一起。

我尝试实现 for 循环但无法完成。

Answer 1

使用 DatetimeIndex.floor 获取两个数据帧之间的相同时间：

# Ensure the columns have datetime64 dtype
df1['Time'] = pd.to_datetime(df1['Time'])
df2['Report Time'] = pd.to_datetime(df2['Report Time'])

out = (
    df1.merge(df2.groupby(df2['Report Time'].dt.floor('H')).sum(), 
            left_on=df1['Time'].dt.floor('H'), right_index=True, how='left')
      .fillna(0)
)

输出：

>>> out
                 Time      x
0 2009-09-13 01:17:00    1.0
1 2009-09-13 02:17:00   28.0
2 2009-09-13 03:17:00    0.0
3 2009-09-13 04:17:00    0.0
4 2009-09-13 05:17:00  100.0

详细信息：

>>> df2.groupby(df2['Report Time'].dt.floor('H')).sum()
                       x
Report Time             
2009-09-13 01:00:00    1
2009-09-13 02:00:00   28
2009-09-13 05:00:00  100

>>> df1['Time'].dt.floor('H')
0   2009-09-13 01:00:00
1   2009-09-13 02:00:00
2   2009-09-13 03:00:00
3   2009-09-13 04:00:00
4   2009-09-13 05:00:00
Name: Time, dtype: datetime64[ns]

Answer 2

您需要执行merge_asof：

df1['Time'] = pd.to_datetime(df1['Time'])
df2['Report Time'] = pd.to_datetime(df2['Report Time'])

(pd
 .merge_asof(df2, df1, left_on='Report Time', right_on='Time')
 .groupby('Time')
 .agg({'x': 'sum'})
 .reindex(df1['Time'], fill_value=0)
 .reset_index()
 )

输出：

                 Time    x
0 2009-09-13 01:17:00    1
1 2009-09-13 02:17:00   28
2 2009-09-13 03:17:00    0
3 2009-09-13 04:17:00    0
4 2009-09-13 05:17:00  100