从由字符串数组 pyspark 或 python 高阶函数多个值组成的列中选择

Question

我有这样的表，我想根据列上列出的内容创建一个新列 示例

df.withcolumn（'good'，。何时（'java'或'php'isin ['booksIntereste']）。lit（1）.otherwise（0））

当包含java或Java时所需的输出php获得1 else 0 0

Answer 1

您可以直接使用高阶函数 - array_contains 为此，另外您可以浏览 这篇文章了解更多

数据准备

d = {
    'name':['James','Washington','Robert','Micheal'],
    'booksInterested':[['Java','C#','Python'],[],['PHP','Java'],['Java']]
}

sparkDF = sql.createDataFrame(pd.DataFrame(d))

sparkDF.show()

+----------+------------------+
|      name|   booksInterested|
+----------+------------------+
|     James|[Java, C#, Python]|
|Washington|                []|
|    Robert|       [PHP, Java]|
|   Micheal|            [Java]|
+----------+------------------+

Array Contains

sparkDF = sparkDF.withColumn('good',F.array_contains(F.col('booksInterested'), 'Java'))

+----------+------------------+-----+
|      name|   booksInterested| good|
+----------+------------------+-----+
|     James|[Java, C#, Python]| true|
|Washington|                []|false|
|    Robert|       [PHP, Java]| true|
|   Micheal|            [Java]| true|
+----------+------------------+-----+

ForAll Array Contains - 多种的

sparkDF = sparkDF.withColumn('good_multiple',F.forall(F.col('booksInterested'), lambda x: x.isin(['Java','Python','PHP'])))

sparkDF.show()

+----------+------------------+-----+-------------+
|      name|   booksInterested| good|good_multiple|
+----------+------------------+-----+-------------+
|     James|[Java, C#, Python]| true|        false|
|Washington|                []|false|         true|
|    Robert|       [PHP, Java]| true|         true|
|   Micheal|            [Java]| true|         true|
+----------+------------------+-----+-------------+