与 Pyspark 和 When 结合使用的逻辑

Question

我有下面的数据框：

customer_id	person_id	type_person	type_person2	insert_date2	anterior_type	update_date
abcdefghijklmnopqrst	4a5ae8a5-6682-467	Online	Online	2022-03-02	null	null
abcdefghijklmnopqrst	1be8d3e8-8075-438	Online	Online	2022-03-02	null	null
abcdefghijklmnopqrst	6912dadc-1692-4bd	在线	离线	2022-03-02	在线	2022-03-03
abcdefghijklmnopqrst	e48cba37-113c-4bd	在线	在线	2022-03-02	null	null
abcdefghijklmnopqrst	831cb669-b2ae-4e8	在线	在线	2022-03-02	null	null
abcdefghijklmnopqrst	69161fe5-62ac-400	在线	在线	2022-03-02	null	null
abcdefghijklmnopqrst	b48b59a0-92eb-410	在线	在线	2022-03-02	null	null

我需要查看“type_person”和“type_person2”列，并使用以下规则创建一个新列：

• 如果两者都在线，则在线
• 如果两者都离线，则离线
• 如果一个离线，一个在线，则混合
• 如果一个在线一个是离线的，然后是混合的
• 如果两者之一是混合的，那么是混合的

我该怎么做？

Answer 1

使用 case when 语句。

您有两种选择。

1. 使用 SparkSQL
2. 数据帧操作。 （参考：https://spark.apache.org/docs/latest/api/python/reference/api/pyspark.sql.functions.when.html?highlight=when#pyspark.sql.functions.when< /code>)

让我们使用第二种方法：

import pyspark.sql.functions as F
(
DF
.withColumn('rule_result', 
   F.when(F.col("type_person") == 'online' & F.col("type_person2") == 'online', 'online')
   .when(F.col("type_person") == 'offline' & F.col("type_person2") == 'online', 'offline')
   .when(F.col("type_person") == 'offline' & F.col("type_person2") == 'online', 'hybrid')
   .when(F.col("type_person") == 'online' & F.col("type_person2") == 'offline', 'hybrid')
   .when(F.col("type_person") == 'hybrid' | F.col("type_person2") == 'hybrid', 'hybrid')
 .otherwise(None)
)