编码pyspark列创建另一列的阶乘值

Question

我有以下pyspark数据框架：

+----------------------+
|        Paths         |
+----------------------+
|[link1, link2, link3] |               
|[link1, link2, link4] |          
|[link1, link2, link3] |              
|[link1, link2, link4] |
...
..
. 
+----------------------+

我想将路径编码为分类变量，然后将此信息添加到数据框架中。结果应该是这样的：

+----------------------+----------------------+
|        Paths         |      encodedPaths    |
+----------------------+----------------------+
|[link1, link2, link3] |          1           |     
|[link1, link2, link4] |          2           |
|[link1, link2, link3] |          1           |
|[link1, link2, link4] |          2           |
...
..
. 
+----------------------+

环顾四周，我找到了这个解决方案：

indexer = pathsDF.select("Paths").distinct().withColumn("encodedPaths", F.monotonically_increasing_id())
pathsDF = pathsDF.join(indexer, "Paths")

它应该起作用，但是在原始数据框架和结果框架中，不同路径的数量并不相同。除此之外，编码列中的某些值显着高于不同路径的数量。这是不可能的，因为单调的increasing函数应线性增强。 您还有其他解决方案吗？

Answer 1

您可以在将数组列施放到字符串之后使用ML -lib的StringIndexer：

from pyspark.ml.feature import StringIndexer
stringIndexer = StringIndexer(inputCol="PathsStr", outputCol="encodedPaths")

df2 = df.withColumn("PathsStr",F.col("Paths").cast("string"))
#or df2 = df.withColumn("PathsStr",F.concat_ws(",","Paths"))

out = stringIndexer.fit(df2).transform(df2)\
     .withColumn("encodedPaths",F.col("encodedPaths")+1)\
      .select(*df.columns,"encodedPaths")

---

out.show(truncate=False)
+---------------------+------------+
|Paths                |encodedPaths|
+---------------------+------------+
|[link1, link2, link3]|1.0         |
|[link1, link2, link4]|2.0         |
|[link1, link2, link3]|1.0         |
|[link1, link2, link4]|2.0         |
+---------------------+------------+