如何在Pyspark的间隔日到第二次提取纳秒？

Question

def calculate_session_duration(df):
     newDf = df.groupBy("SessionId").agg((F.max("TimeGenerated") - F.min("TimeGenerated")).alias("TimeRange"))
     return df2

大家好，我在Pyspark中具有以下功能，时间戳之间的减法使我返回“间隔日至秒”数据类型。 我试图弄清楚如何从“时间范围”列中提取纳秒秒，这就是这样： 在这里输入图像描述

您有任何建议吗？

谢谢。

Answer 1

尝试以下操作：

def calculate_session_duration(df):
     newDf = df.groupBy("SessionId").agg((F.max("TimeGenerated").cast(DoubleType()) - F.min("TimeGenerated").cast(DoubleType())).alias("TimeRange"))
     return df2

输出将是这样的：

+-------------------+--------------------------+------------------+             
|x                  |y                         |TimeRange         |
+-------------------+--------------------------+------------------+
|2022-06-10 00:00:00|2022-06-10 17:26:39.438444|62799.438443899155|
+-------------------+--------------------------+------------------+

浮点之后的值是第二部分。