数据集时间窗口

Question

我在此形式下有一个数据集

我想通过制作一个窗口来拆分数据集，该窗口包括每2分钟发生的行，然后im将结果包含在另一个数据集中，该数据集将在此下方形式

我问是否有人可以给我一只手来加快我的工作？

Answer 1

这是一个随机数据框，DF：

df:
                     Content
Date                        
2021-12-04 04:07:04        6
2021-12-04 04:07:20        1
2021-12-04 04:08:04        4
2021-12-04 04:09:04       12
2021-12-04 04:12:04        4
2021-12-04 04:15:04        8
2021-12-04 04:15:04       10
2021-12-04 04:16:04        4
2021-12-04 04:17:04        6
2021-12-04 04:17:24        3

现在，我将使用pd.grouper用于'2min'频率和apply（list）

df_out= df.groupby(pd.Grouper(freq='2Min'))['Content'].apply(list).

df_out：

Date
2021-12-04 04:06:00       [6, 1]
2021-12-04 04:08:00      [4, 12]
2021-12-04 04:10:00           []
2021-12-04 04:12:00          [4]
2021-12-04 04:14:00      [8, 10]
2021-12-04 04:16:00    [4, 6, 3]

如果您将第二列作为一个列表然后使用.tolist（）：

list=df_out.tolist()
list:
[[6, 1], [4, 12], [], [4], [8, 10], [4, 6, 3]]

要获取每个元素使用df_out [i]＃＃i = 0,1,2，等等
要将其转换为数据框

如果 using:

df.index = pd.to_datetime(df.index)

Entire code for a test csv file:

import pandas as pd
df=pd.read_csv(r'D:\python\test.txt', sep=',').set_index('Date')
df.index = pd.to_datetime(df.index)

df_out= df.groupby(pd.Grouper(freq='2Min'))['Content'].apply(list)

If you don't know how to create a sample df, here I put another example:

import pandas as pd
import numpy as np

np.random.seed(0)
# create an array of 10 dates starting at '2021-12-04', one per minute 
rng = pd.date_range('2021-12-04 04:07:04', periods=10, freq='T')
df_random = pd.DataFrame({ 'Date': rng, 'Content': np.random.randint(1,13,10) }).set_index('Date') 

df_random_out= df_random.groupby(pd.Grouper(freq='2Min'))['Content'].apply(list)

 df_random:
                     Content
Date                        
2021-12-04 04:07:04        6
2021-12-04 04:08:04        1
2021-12-04 04:09:04        4
2021-12-04 04:10:04       12
2021-12-04 04:11:04        4
2021-12-04 04:12:04        8
2021-12-04 04:13:04       10
2021-12-04 04:14:04        4
2021-12-04 04:15:04        6
2021-12-04 04:16:04        3

df_random_out:
Date
2021-12-04 04:06:00        [6]
2021-12-04 04:08:00     [1, 4]
2021-12-04 04:10:00    [12, 4]
2021-12-04 04:12:00    [8, 10]
2021-12-04 04:14:00     [4, 6]
2021-12-04 04:16:00        [3]

NB: Please explain clearly what you want to do with your results so that I can answer accordingly.

Answer 2

我花了一些时间，我发布了一个答案，但由于我意识到这与预期的结果有所不同，但被删除了……还取了一块@shuvashish-申请（列表）。但是无论如何..这应该给您带来预期的结果：

df['Time']=pd.to_datetime(df['Time'])
df.set_index('Time',inplace=True)

df2=pd.DataFrame(df.groupby(pd.Grouper(freq='2Min',origin=df.index[0].floor('Min')))['Content'].apply(list).explode())

df2[df2.Content.notna()].reset_index()

Shuvashish已经显示了PD.Greuper-我只爆炸了结果，并将其设置为第一次“地板”到分钟的第一个时间 - 在您的预期表中， t是04:50:00的时间，因为我们从一个奇数开始每2分钟开始汇总每2分钟04:07:00