直接替换Pyspark列中的值，而无需加入

Question

我有两个数据帧：

data1 = [('Andy', 'male'), ('Julie', 'female'), ('Danny', 'male')]
columns1 = ['name', 'gender']
df1 = spark.createDataFrame(data=data1, schema=columns1)


data2 = [('male', 1), ('female', 2)]
columns2 = ['gender', 'enum']
df2 = spark.createDataFrame(data=data2, schema=columns2)

+-----+------+                                                                  
| name|gender|
+-----+------+
| Andy|  male|
|Julie|female|
|Danny|  male|
+-----+------+

+------+----+
|gender|enum|
+------+----+
|  male|   1|
|female|   2|
+------+----+

我希望用enum值替换df1在df2中的df1中。我可以通过：

new_df = df1.join(df2, on='gender', how='inner')

然后将列phender删除，然后在new_df中重命名列 enum gend> gend> gender。这很麻烦，并且取决于性别在df1和df2中的同名。

有没有办法在没有这些中间步骤的情况下直接替换值？

Answer 1

由于df2不包含数千个元素，因此您可以收集所有数据并像这样编写一个UDF：

df2_list = df2.collect()
d = sc.broadcast(dict([(c[0], c[1]) for c in df2_list]))
replace = f.udf(lambda x: d.value[x])

# then you can use replace on any dataframe like this;
df1.withColumn("gender", replace("gender")).show()
+-----+------+
| name|gender|
+-----+------+
| Andy|     1|
|Julie|     2|
|Danny|     1|
+-----+------+

我不确定它更简单，但这是另一种方法。

NB：广泛的演员不是强制性的，但是它将允许单词仅发送给每个执行人一次，而不是每个任务。

Answer 2

没有加入，您将需要自己提供所有可能的映射

df = df.replace({'male':'1', 'female':'2'}, subset='gender')