pyspark在布尔列中获取真实值的计数

Question

请让我知道这是否是重复的。我一直在搜索到不编写用户定义的函数而尝试找出HWO来做到这一点。我有一堆布尔列，每个布尔列在Pyspark数据框架中都有不同的质量保证标志。我需要做的就是创建一个带有具有真实值的这些列数的新列，QA计数每行失败。但是，我无法确定这样做的有效方法。任何想法，参考或链接都将非常感谢！

例如，对于带有以下值的上述列的一个记录...

< img src =“ https://i.sstatic.net/psa3d.png” alt =“ bollean列记录示例”>

...我想创建一个具有2个数量的新列

。想法？

Answer 1

在不使用用户定义的功能的情况下，想到了两种方法。

我假设您有一个带有布尔列名称的Python列表。
qa_tests = ['qa_flg_xy_equal'，'qa_flg_out_of_bounds_x']等等。

计划 - 在本地Python中构建一列，该列是所有布尔柱作为整数施放的总和，然后将其放在火花中。

from pyspark.sql.functions import col, lit
from functools import reduce

sum_bools = reduce(lambda acc, v: acc + col(v).cast("integer"), qa_tests, lit(0))

sum_bools只是一种自动写作lit（0） + col（“ qa_flg_xy_equal”）。cast（“ integer”） + col（“ qa_flg_out_of_bounds_x”）。cast（“ integer”） +

... ：

>> Column<'((0 + CAST(qa_flg_xy_equal AS INT)) + CAST(qa_flg_out_of_bounds_x AS INT))'>

代码的其余部分：

df.withColumn("tests_passed", sum_bools).show(truncate=0)

+---+---------------+----------------------+------------+
|id |qa_flg_xy_equal|qa_flg_out_of_bounds_x|tests_passed|
+---+---------------+----------------------+------------+
|1  |true           |false                 |1           |
|2  |false          |false                 |0           |
|3  |true           |true                  |2           |
+---+---------------+----------------------+------------+

计划B - 我们可以使用数组列将所有布尔人收集到一个数组值中，仅过滤true并检查过滤器后的数组大小。
无需将所有详细的步骤保留在下面，您当然可以用一个用一个详细说明。

from pyspark.sql.functions import array, filter, size

df \
.withColumn("qa_results", array(*qa_tests)) \
.withColumn("passed_results", filter(
    "qa_results",
    lambda test: test
)) \
.withColumn("passed_results_count", size("passed_results"))

+---+---------------+----------------------+--------------+--------------+--------------------+
| id|qa_flg_xy_equal|qa_flg_out_of_bounds_x|    qa_results|passed_results|passed_results_count|
+---+---------------+----------------------+--------------+--------------+--------------------+
|  1|           true|                 false| [true, false]|        [true]|                   1|
|  2|          false|                 false|[false, false]|            []|                   0|
|  3|           true|                  true|  [true, true]|  [true, true]|                   2|
+---+---------------+----------------------+--------------+--------------+--------------------+