是否有任何Pyspark UDF函数或内置功能可用于在数据框中添加新列并根据行值进行行级操作？

Question

我有一个类似的数据框：

    | col1 | col2 |
    --------------
    | a    | 1    |
    | a    | 2    |
    | b    | 3    |
    | c    | 4    |
    | a    | 5    |

现在，我需要创建新的列“ Col3”，并且必须根据Col1值将新值放在Col3中。最终的数据帧看起来像这样。

就像，如果Col1具有“ A”的值，则Col3应该在其中具有“苹果”。 如果Col1具有“ B”的价值，则Col3应该在其中有“香蕉”。 如果Col1具有“ C”的价值，则Col3应该在其中具有“蛋ust”。

注意：COL2是正常的列，请不要考虑。

    | col1 | col2 | col3    |
    ------------------------
    | a    | 1    |apple    |
    | a    | 2    |apple    |
    | b    | 3    |banana   |
    | c    | 4    |custard  |
    | a    | 5    |apple    |

我可以获得的任何pyspark UDF或内置功能吗？

提前致谢！！！

Answer 1

from pyspark.sql import SparkSession
spark=SparkSession.builder.appName("test").getOrCreate()
data=[('a',1),('a',2),('b',3),('c',4),('a',5)]
headers = ("col1", "col2")
df=spark.createDataFrame(data,headers)
df.show(truncate=0)

#defining UDF
keywords = {
'a': 'apple',
'b': 'banana',
'c': 'custard'
}

def words(col1Value):
    return keywords.get(col1Value, "Not Found ! ")

from pyspark.sql.functions import udf
from pyspark.sql.types import *
#Converting function to UDF 
convertUDF = udf(lambda z: words(z),StringType())

import pyspark.sql.functions as F
finaloutput=df.withColumn("col3", convertUDF(df['col1']))
finaloutput.show(truncate=0)

DataFram记录：

+----+----+
|col1|col2|
+----+----+
|a   |1   |
|a   |2   |
|b   |3   |
|c   |4   |
|a   |5   |
+----+----+

输出：

+----+----+-------+
|col1|col2|col3   |
+----+----+-------+
|a   |1   |apple  |
|a   |2   |apple  |
|b   |3   |banana |
|c   |4   |custard|
|a   |5   |apple  |
+----+----+-------+

Answer 2

我得到了这个功能的答案。这可能对某人有帮助。

我使用了此功能：

    fruits = {
'a': 'apple',
'b': 'banana',
'c': 'custard'
}

    def X(col1Value):
        return fruits.get(col1Value, "Not Found ! ")



    df['col3']= X(col1Value)

修改后的变量！！！