PySpark groupBy 和多列聚合函数

Question

我使用 Spark Dataframe 并尝试使用 groupby 创建一个带有聚合的新表： 我的数据示例：

这是所需的结果：

我尝试了此代码 data.groupBy("id1").agg(countDistinct("id2").alias("id2"), sum("value").alias("value"))

有人可以帮忙吗？谢谢

Answer 1

尝试使用以下代码 -

from pyspark.sql.functions import *

df = spark.createDataFrame([('id11', 'id21', 1), ('id11', 'id22', 2), ('id11', 'id23', 3), ('id12', 'id21', 2), ('id12', 'id23', 1), ('id13', 'id23', 2), ('id13', 'id21', 8)], ["id1", "id2","value"])

聚合数据 -

df.groupBy("id1").agg(count("id2"),sum("value")).show()

输出 -

+----+----------+----------+
| id1|count(id2)|sum(value)|
+----+----------+----------+
|id11|         3|         6|
|id12|         2|         3|
|id13|         2|        10|
+----+----------+----------+

Answer 2

以下是如何使用 PySpark 对多列进行 groupBy 的解决方案：

import pyspark.sql.functions as F
from pyspark.sql.functions import col

df.groupBy("id1").agg(F.count(col("id2")).alias('id2_count'),                     
                      F.sum(col('value')).alias("value_sum")).show()