Pyspark如何从数据框架中创建自定义的CSV

Question

我有以下数据框架，我需要将其加载到CSV中，并具有自定义的行，并且

common_df.show()
+--------+----------+-----+----+-----+-----------+-------+---+
|name    |department|state|id  |name | department| state | id|
+--------+----------+-----+----+-----+-----------+-------+---+
|James   |Sales     |NY   |101 |James|  Sales1   |null   |101|  
|Maria   |Finance   |CA   |102 |Maria|  Finance  |       |102|
|Jen     |Marketing |NY   |103 |Jen  |           |NY2    |103|

我遵循以下方法，目前将DF转换为CSV，

pandasdf=common_df.toPandas()
pandasdf.to_csv("s3://mylocation/result.csv")

以上将在CSV中使用相同的结构转换。 但是，我需要从上面的格式构造到下面的内容，我认为解决方案是将每一行分为两个分配数据框内的ID。但是我没有直接从火花

    |name   |dept      |state|id  | 
------------------------------------    
101 |James  |Sales     |NY   |101 |     
    |James  |null      |NY   |101 |
------------------------------------    
102 |Maria  |Finance   |     |102 |     
    |Maria  |Finance   |CA   |102 | 
-------------------------------------   
103 |Jen    |Marketing |NY   |103 |     
    |Jen    |          |NY2  |103 |
------------------------------------    

解决任何解决方案中看到任何例子或解决方案？