选定列中值的独特组合计数

Question

我有一个看起来像这样的Pyspark数据框架：

----------------------------
id    A    B    C 
id1   on   on   on
id1   on   off  on 
id1   on   on   on 
id1   on   on   on 
id1   on   on   off
-----------------------------

我正在寻找一种找到所选列的所有唯一组合并显示其计数的方法。 The expected output:

----------------------------
id    A    B    C    count
id1   on   on   on   3
id1   on   off  on   1
id1   on   on   off  1
-----------------------------

I see that there is

UPD： 另外，请注意，A和B列的独特组合与A，B，c的组合不同。我想要每一列的所有可能组合。有没有办法实现它，而不是通过并计算一种组合，另一种组合等？还有10列。

Answer 1

cube 可以做到。但它显示了所有组合，包括是否没有考虑某些列。因此，您将必须过滤。

from pyspark.sql import functions as F
df = spark.createDataFrame(
    [('id1', 'on', 'on', 'on'),
     ('id1', 'on', 'off', 'on'), 
     ('id1', 'on', 'on', 'on'), 
     ('id1', 'on', 'on', 'on'), 
     ('id1', 'on', 'on', 'off')],
    ['id', 'A', 'B', 'C'])

df = df.cube(df.columns).count()
df = df.filter(F.forall(F.array(df.columns), lambda x: x.isNotNull()))

df.show()
# +---+---+---+---+-----+
# | id|  A|  B|  C|count|
# +---+---+---+---+-----+
# |id1| on| on| on|    3|
# |id1| on|off| on|    1|
# |id1| on| on|off|    1|
# +---+---+---+---+-----+

---

这将计算出仅在指定列中的事件：

cols = ['A', 'B']
df = df.cube(cols).count()
df = df.filter(F.forall(F.array(df.columns), lambda x: x.isNotNull()))

df.show()
# +---+---+-----+
# |  A|  B|count|
# +---+---+-----+
# | on|off|    1|
# | on| on|    4|
# +---+---+-----+

Answer 2

解决方案：

df = spark.createDataFrame(
    [
        ("id1", "on","on","on"),  # create your data here, be consistent in the types.
        ("id1", "on","off","on"),
        ("id1", "on","on","on"),
        ("id1", "on","on","on"),
        ("id1", "on","on","off"),
    ],
    ["id", "A" , "B" , "C"]  # add your column names here
)

除了立方体功能外，我们还具有汇总功能。

Cube ：它获取列列表，并将汇总表达式应用于分组列的所有可能组合。

汇总：与 Cube IS crolup 相似的功能，该功能从左到右计算层次的小写。
通过组进行汇总（...）与立方体相似，但在层次上起作用，通过从左到右填充列。

from pyspark.sql import functions as F

df = df.rollup(df.columns).count()

df1 = df.na.drop(subset=df.columns)

df1.show()

# ---+---+---+---+-----+
# | id|  A|  B|  C|count|
# +---+---+---+---+-----+
# |id1| on| on|off|    1|
# |id1| on| on| on|    3|
# |id1| on|off| on|    1|
# +---+---+---+---+-----+