根据相等的列值添加另一列

Question

PySpark：可能是重复的，找不到类似的问题。

我有一个表 A:

a | b | c
---------
1 | 3 | p
2 | 4 | q
3 | 4 | r
4 | 7 | s

和一个表 B:

p | q
---------
1 | Yes
2 | No
3 | Yes

我希望将结果表连接到列 a 值等于列 p 值。我尝试了内部联接，但它为每个 q 值返回整个表 A 的副本。我希望结果表为：

a | b | c | q
--------------
1 | 3 | p | Yes
2 | 4 | q | No
3 | 4 | r | Yes

请帮助了解如何在 PySpark 中实现此目的？另外，如果我想要这张桌子，我该怎么办：

a | b | c | q
--------------
1 | 3 | p | Yes
2 | 4 | q | No
3 | 4 | r | Yes
4 | 7 | s | null

Answer 1

您可以使用两个 DataFrames 之间的 join 语句轻松地完成此操作。

可以找到有关联接的更多信息 - Spark 连接

数据准备

df1 = pd.read_csv(StringIO("""
a|b|c
1|3|p
2|4|q
3|4|r
4|7|s
"""),delimiter='|')

df2 = pd.read_csv(StringIO("""
p|q
1|Yes
2|No
3|Yes
"""),delimiter='|')


sparkDF1 = sql.createDataFrame(df1)
sparkDF2 = sql.createDataFrame(df2)

sparkDF1.show()

+---+---+---+
|  a|  b|  c|
+---+---+---+
|  1|  3|  p|
|  2|  4|  q|
|  3|  4|  r|
|  4|  7|  s|
+---+---+---+

sparkDF2.show()

+---+---+
|  p|  q|
+---+---+
|  1|Yes|
|  2| No|
|  3|Yes|
+---+---+

连接 - 内

finalDF = sparkDF1.join(sparkDF2
                        ,sparkDF1['a'] == sparkDF2['p'] ### Joining Key
                        ,'inner' ### Join Type
                    ).select(sparkDF1['*'],sparkDF2['q'])


finalDF.orderBy('a').show()

+---+---+---+---+
|  a|  b|  c|  q|
+---+---+---+---+
|  1|  3|  p|Yes|
|  2|  4|  q| No|
|  3|  4|  r|Yes|
+---+---+---+---+

连接 - 左

finalDF = sparkDF1.join(sparkDF2
                        ,sparkDF1['a'] == sparkDF2['p']
                        ,'left'
                    ).select(sparkDF1['*'],sparkDF2['q'])


finalDF.orderBy('a').show()

+---+---+---+----+
|  a|  b|  c|   q|
+---+---+---+----+
|  1|  3|  p| Yes|
|  2|  4|  q|  No|
|  3|  4|  r| Yes|
|  4|  7|  s|null|
+---+---+---+----+