如何更改 RDD/Spark Dataframe 的结构？

Question

从这种 rdd/spark 数据框：

日期	Tokyo	New York
01/01	1	2
02/01	3	2
03/01	4	5

到下面这种形式的相同数据的最简单的过程是什么？

城市	日期	值
东京	01/01	1
纽约	01/01	2
东京	02/01	3
纽约	02/01	2
东京	03/01	4
纽约	03/01	5

Answer 1

我将使用 create_map 和 explode 等函数通过 pyspark sql 解决这个问题

，如下 -

from pyspark.sql import functions as func

df1= df.withColumn('mapCol',
                    func.create_map(func.lit('Tokyo'),df.Tokyo,
                                    func.lit('New York'),df["New York"]
                                   ) 
                  )

res = df1.select('*',func.explode(df1.mapCol).alias('city','value')).drop("Tokyo", "New York", "mapCol")
res.show()

输出：

+-----+--------+-----+
| date|    city|value|
+-----+--------+-----+
|01/01|   Tokyo|    1|
|01/01|New York|    2|
|02/01|   Tokyo|    3|
|02/01|New York|    2|
|03/01|   Tokyo|    4|
|03/01|New York|    5|
+-----+--------+-----+

Answer 2

有一个更简单的解决方案，使用 stack

< code>apache-spark-sql

with t (date, Tokyo, `New York`) as (select stack(3 ,'01/01',1,2 ,'02/01',3,2 ,'03/01',4,5))

-- The solution starts here

select date, stack(2, 'Tokyo',Tokyo,'New York',`New York`) as (city,value)
from   t

日期	城市	值
01/01	东京	1
01/01	纽约	2
02/01	东京	3
02/01	纽约	2
03/01	东京	4
03/01	纽约	5

pyspark

df = spark.sql("select stack(3 ,'01/01',1,2 ,'02/01',3,2 ,'03/01',4,5) as (date, Tokyo, `New York`)")

#The solution starts here
df.selectExpr("date", "stack(2, 'Tokyo',Tokyo,'New York',`New York`) as (city,value)").show()

---

+-----+--------+-----+
| date|    city|value|
+-----+--------+-----+
|01/01|   Tokyo|    1|
|01/01|New York|    2|
|02/01|   Tokyo|    3|
|02/01|New York|    2|
|03/01|   Tokyo|    4|
|03/01|New York|    5|
+-----+--------+-----+