在2个PANDAS数据框架中执行模糊匹配

Question

我有两个数据范围，不同的行编号包含有关玩家的信息。第一个具有我需要的所有名称。

df1 = pd.DataFrame({'Player': ["John Sepi", 'Zan Fred', 'Mark Daniel', 'Adam Pop', 'Paul Sepi', 'John Hernandez', 'Price Josiah', 'John Hernandez', 'Adam Pop'], 
                    'Team': ['A', 'C', 'E', 'C', 'B', 'D', 'B', 'A', 'D']})

另一个数据框架缺少某些玩家，但具有年龄的专栏。在某些情况下，玩家的名字差异较小。

df2 = pd.DataFrame({'Player': ["John Sepi", 'Mark A. Daniel', 'John Hernandez', 'Price Josiah', 'John Hernandez', 'Adam Pop'], 
                    'Team': ['A', 'E', 'D', 'B', 'A', 'D'],
                   'Age': [22, 21, 26, 18, 19, 25]})

等于名字是不同的人，因此我需要在同一时间和团队中匹配。我想创建一个新的DataFrame，其中包括第一个数据帧的所有名称，并从第二个数据框架上各自的年龄。如果第二次缺少播放器，则具有恒定值的完整新数据帧（例如XX年，可以是任何年龄。最终数据帧：

print(final_df)

           Player Team  Age
0       John Sepi    A   22
1        Zan Fred    C   XX
2     Mark Daniel    E   21
3        Adam Pop    C   XX
4       Paul Sepi    B   XX
5  John Hernandez    D   26
6    Price Josiah    B   18
7  John Hernandez    A   19
8        Adam Pop    D   25

Answer 1

您可以使用fuzzywuzzy库的文本匹配功能与Python中的Pandas功能混合。

首先，导入以下库：

import pandas as pd
import numpy as np
from fuzzywuzzy import fuzz
from fuzzywuzzy import process

您可以使用fuzzywuzzy python库的文本匹配功能：

#get list of unique teams existing in df1
lst_teams = list(np.unique(np.array(df1['Team'])))
#define arbitrary threshold
thres = 70
#for each team match similar texts
for team in lst_teams:
    #iterration on dataframe filtered by team
    for index, row in df1.loc[df1['Team']==team].iterrows():
        #get list of players in this team
        lst_player_per_team = list(np.array(df2.loc[df2['Team']==team]['Player']))
        #use of fuzzywuzzy to make text matching
        output_ratio = process.extract(row['Player'], lst_player_per_team, scorer=fuzz.token_sort_ratio)
        #check if there is players from df2 in this team
        if output_ratio !=[]:
            #put arbitrary threshold to get most similar text
            if output_ratio[0][1]>thres:
                df1.loc[index, 'Age'] = df2.loc[(df2['Team']==team)&(df2['Player']==output_ratio[0][0])]['Age'].values[0]
df1 = df1.fillna('XX')

使用此代码和定义为70的阈值，您将获得以下结果：

print(df1)
           Player Team Age
0       John Sepi    A  22
1        Zan Fred    C  XX
2     Mark Daniel    E  21
3        Adam Pop    C  XX
4       Paul Sepi    B  XX
5  John Hernandez    D  26
6    Price Josiah    B  18
7  John Hernandez    A  19
8        Adam Pop    D  25

可以移动阈值为了提高两个数据范围之间的文本匹配功能的准确性。

请注意，不建议使用.iterrows（）作为数据框架上的迭代时要小心。

您可以检查fuzzywuzzy doc： /

Answer 2

这是一种方法：

df1 = df1.merge(df2,how='left', on=['Players','Team']).fillna(20)