比较两个数据范围并显示不同的数据

Question

我有两个数据范围，我想比较两个列的值并显示不同的值，例如：比较此表1

A	B	C	D
O1	2	E1	2
E1 2 O1	3	E1	1
O1 1 O1	2	E1 2 E1	0
O1	5 E1 5 E2 2	O1	2
O1 2 O1	2	E2	3
O1	2	E2	2
O1	5	E2	1
O2	8	E1	2
O2	8	E1	0
O2	0	E1	1
O2	2	E1	9
E1 2 O2	4 O2 9	E1	2
O2 E2	2	E2	1
O2	9	E2 9 E2	4
4 O2 4 O2	O2 2	E2	E2

带有此表2

A	B	C C	D
O1	2	E1	2
O1	2	E2	3
O2	2	E1	4
O2	9	E2	4

我尝试过

cond= [table1.A ==  table2.A, table1.C ==  table2.C, table1.D ==  table2.D]
join = table1.join(table2,cond,"leftsemi")

，并且由于其中有很多数据，我不知道如何检查我所拥有的结果是否正确

Answer 1

由于您的DataFrames具有相同的架构，因此您可以使用减去

df1

df1 = spark.createDataFrame([
    (1, 2, 3, 4),
    (5, 6, 7, 8),
], ['a', 'b', 'c', 'd'])

+---+---+---+---+
|  a|  b|  c|  d|
+---+---+---+---+
|  1|  2|  3|  4|
|  5|  6|  7|  8|
+---+---+---+---+

df2

df2 = spark.createDataFrame([
    (5, 6, 7, 8),
], ['a', 'b', 'c', 'd'])

+---+---+---+---+
|  a|  b|  c|  d|
+---+---+---+---+
|  5|  6|  7|  8|
+---+---+---+---+

减去获取<<<<<代码> df1 ，但不存在df2

df1.subtract(df2).show()

+---+---+---+---+
|  a|  b|  c|  d|
+---+---+---+---+
|  1|  2|  3|  4|
+---+---+---+---+

Answer 2

从一个dataframe

check_list = list = list（df2.apply（tuple，axis = 1））

使用它与其他

df1 = df1 = df1 [〜df1.apply（tuple（tuple）（tuple） ，轴= 1）.isin（check_list）]