从pandas dataframe中的每个ID中的第一个时间戳中的第一个时间戳减去最后时间戳

Question

I have a dataframe (df) with the following structure:

retweet_datetime	tweet_id	tweet_datetime
2020-04-24 03:33:15	85053699	2020-04-24 02:28:22
2020-04-24 02:43:35	85053699	2020-04 -24 02：28：22
2020-04-18 04:24:03	86095361	2020-04-18 00:06:01
2020-04-18 00:19:19:08	86095361	2020-04-18 00:06:01
2020-01 2020-04-04-18 00:18 00:18:18:38	86095361	2020- 04-18 00:06:01
2020-04-18 00:07:08	86095361	2020-04-18 00:06:01

retweet_datetime从最新转发到最新转发。

我想创建两个新列，如下所示：

1. tweet_lifetime1 ：上次转推时间与第一个转推时间之间的区别，即，对于每个Tweet_id：last retweet_dateTime -first retweet_dateet_datect_dateetime tweet_lifetime tweet_lifetime2
2. tweet_lifetime2 /code>：上次转推时间和推文创建时间（ tweet_datetime ）之间的

更新

区别 示例，对于推文ID：“ 86095361” ：

• tweet_lifetime1 = 2020-04-18 04:24:03-2020-2020-2020-04-18 00:07：07： 08 （ 04:16:55 ）
• tweet_lifetime2 = = = 2020-04-18 04:24:03-2020-04-18 00:06:01 （ 04:18:02 ）

预期的输出DF：

retweet_dateTime	Tweet_id tweet_id	tweet_dateet_dateet_id tweet_dateTime	Lifetime1	Lifetime2
2020-04-24 03:33:15	85053699	2020-04-24 02:28:22	00:49:40	01:04:53
2020-04-18 04:24:03	86095361	2020-04-18 004-18 00:06:01	04:16:55	04:18:02

我见过几个类似的帖子，但它们主要减去连续的行。例如，我可以为每个Tweet ID减去每个retweet_datetimes之间的时间差：如下：

df2 = df.assign(delta = df.groupby('tweet_id')['retweet_datetime'].diff())

Answer 1

使用 noflowl noreferrer“> nater gotnegation” href =“ http://pandas.pydata.org/pandas-docs/stable/reference/reference/pandas.series.sub.html” rel =“ nofollow noreferrer”> a>， A>用于Drop列 TMP 处理后：

df1 = (df.groupby('tweet_id', as_index=False)
         .agg(retweet_datetime=('retweet_datetime','first'),
              tmp = ('retweet_datetime','last'),
              tweet_datetime = ('tweet_datetime','last')))

df1['lifetime1'] = df1['retweet_datetime'].sub(df1.pop('tmp'))
df1['lifetime2'] = df1['retweet_datetime'].sub(df1['tweet_datetime'])
print (df1)
   tweet_id    retweet_datetime      tweet_datetime       lifetime1  \
0  85053699 2020-04-24 03:33:15 2020-04-24 02:28:22 0 days 00:49:40   
1  86095361 2020-04-18 04:24:03 2020-04-18 00:06:01 0 days 04:16:55   

        lifetime2  
0 0 days 01:04:53  
1 0 days 04:18:02  

如果需要格式 HH：MM：SS 使用：

def f(x):
    ts = x.total_seconds()
    hours, remainder = divmod(ts, 3600)
    minutes, seconds = divmod(remainder, 60)
    return ('{:02d}:{:02d}:{:02d}').format(int(hours), int(minutes), int(seconds))

df1['lifetime1'] = df1['retweet_datetime'].sub(df1.pop('tmp')).apply(f)
df1['lifetime2'] = df1['retweet_datetime'].sub(df1['tweet_datetime']).apply(f)
print (df1)
   tweet_id    retweet_datetime      tweet_datetime lifetime1 lifetime2
0  85053699 2020-04-24 03:33:15 2020-04-24 02:28:22  00:49:40  01:04:53
1  86095361 2020-04-18 04:24:03 2020-04-18 00:06:01  04:16:55  04:18:02

Answer 2

GroupBy和Agg 首先要选择每个组的第一行，然后使用带有的最后一个，以选择每个组的最后一个值。然后 JOIN 汇总的数据框架并计算 Lifetime1 和 LifeTime2 通过减去相关列

g = df.groupby('tweet_id')
s = g.first().join(g['retweet_datetime'].agg(['last']))

s['lifetime1'] = s['retweet_datetime'] - s.pop('last')
s['lifetime2'] = s['retweet_datetime'] - s['tweet_datetime']

---

            retweet_datetime      tweet_datetime       lifetime1       lifetime2
tweet_id                                                                        
85053699 2020-04-24 03:33:15 2020-04-24 02:28:22 0 days 00:49:40 0 days 01:04:53
86095361 2020-04-18 04:24:03 2020-04-18 00:06:01 0 days 04:16:55 0 days 04:18:02