通过比较两个dataframes pandas中的列来获取唯一值的有效方法

Question

我有两个数据范围，类似于下面：

  df1:

   date             col1          col2         col3
 15-5-2022          ABC            1            PQR
 16-5-2022          BCD            2            ABC
 17-5-2022          CDE            4            XYZ


  df2:

   date           col1          col2         col3
 5-4-2022          XYZ            1           ABC
 6-4-2022          PQR            2           ABC
 7-4-2022          BCD            4           PQR

我的任务是获取DF2.COL1中的唯一值总数，但在df1.col1中没有。我这样做的方式是首先创建DF1的所有COL1唯一值的列表，然后从DF2创建一个唯一值，然后比较这两个列表，并创建第三个列表与第二列表中的内容，但不是第一个列表。由于我需要最终列表中的项目计数，因此我在第三列表上进行了LEN。我的代码如下：

list1 = df1.col1.unique()    
list2 = df2.col1.unique()
list3 = [x for x in list2 if x not in list1]
num_list3 = len(list3)
 

这正在完成我的任务，但是花很长时间运行，可能是因为我的DFS很大。我想知道是否有一种更聪明，更有效的方法。感谢任何帮助

Answer 1

使用：

df2.loc[~df2['col1'].isin(df1['col1']), 'col1'].unique()

输出：数组（['xyz'，'pqr']，dtype = object）

or sets：oumpts：

set(df2['col1']) - set(df1['col1'])

output：{'pqr'，'xyz'}>

Answer 2

我遇到了类似的问题，但更困难。我的问题是比较唯一组合并获得df1和df2之间的差异。在这里，我发布了两个解决方案，以防您需要它们。

解决方案密钥想法：使用concat，groupby或MERGE的技巧。

如果您想获得两个数据范围的关节或互助。通过获取df1的唯一，df2，称为u1和u2。您concat u1和u2，然后使用groupby来计数发生数量。如果超过1，则在u1和u2中出现。如果是1，则显示在两个u1或u2中。

如果仅要从df1或df2获得唯一内容，则使用Merge trick with option indoce indistator = true

复制数据集：

import pandas as pd
import numpy as np

df1 = pd.DataFrame({'id':['a','a','b','b','c','d','e'],
                   'val': [1,2,1,3,4,5,6]})
df2 = pd.DataFrame({'id':['a','a','b','b','c','c','e','f','f','d'],
                   'val': [1,2,1,3,4,5,5,7,8,9]})

问题1：单列比较

# Getting unique in each dataframe and concat
u1 = pd.DataFrame(df1['id'].unique(), columns=['id'])
u2 = pd.DataFrame(df2['id'].unique(), columns=['id'])
u = pd.concat([u1,u2])

# Groupby, count the number of occurrence with function `size`:
u.groupby('id').size().reset_index()

# You can do the rest by your choice if you want the joint or the not joint part

问题2：多列组合

# Getting unique combination of `id` and `val` by using trick of `size()` in `groupby`:

u1 = df1.groupby(['id', 'val']).size().reset_index().drop(columns=0)
u2 = df2.groupby(['id', 'val']).size().reset_index().drop(columns=0)
u = pd.concat([u1,u2])

# Groupby, count the number of occurrence with function `size`:
u.groupby('id').size().reset_index()

# You can do the rest by your choice if you want the joint or the not joint part

df1或df2仅

# This will tell you the uniques combinations belong to df1 or df2 or both:    
pd.merge(u1, u2, how='outer', on='id', indicator=True)

这应该加快您的旧代码。

希望这有所帮助