使用矢量化在两个熊猫数据框之间有效查找

Question

我有两个pandas数据框架：一个是主要数据（DF1），另一个是查找表（DF2）。

主数据

列1	...
[数据1，数据2，数据3，...]	...
[数据11，数据21，数据31，...]	...

查找表

数据	位置
data 1	location1 location1
docity2	location2 location2
data3	location1
data11	location1
...	...

因此，我的问题是如何在主数据表中使用pandas矢量化来创建具有此格式的新列：

column1	...	count
[data 1，data 2，data 2，data 3，.. .. 。	​	​
​	​	​...}

我曾尝试使用.Apply（Axis = 1，一些Lambda函数）来创建工作，但是在主表中，它的效率已经降低了。

Answer 1

据我了解您想要完成的任务，您希望在主要数据中添加一列，如下所示 df1。此列应包含一个字典，其中 df2 中为 df1 列列表中的每个条目定义了位置。

虽然我不知道为什么你需要这个，并且肯定会寻找更好的方法来实现你的最终目标，但这就是我将如何进行：

给定：

dt1in = [[['Data1', 'Data2', 'Data3']],
        [['Data11', 'Data21', 'Data31']]
        ]
dt2in =[['Data1', 'location1'],
        ['Data2', 'location2'],
        ['Data3', 'location1'],
        ['Data11', 'location1'],
        ['Data21', 'location2'],
        ['Data31', 'location3']
       ]        

import pandas as pd
from collections import defaultdict
df1= pd.DataFrame(data=dt1in, columns=['Col1'])
df2 = pd.DataFrame(data=dt2in, columns=['Data', 'Location'])  

上面创建了 df1 和 df2，如下所示：

df1:

    Col1
0   [Data1, Data2, Data3]
1   [Data11, Data21, Data31]  

df2:

    Data    Location
0   Data1   location1
1   Data2   location2
2   Data3   location1
3   Data11  location1
4   Data21  location2
5   Data31  location3  

然后定义函数：

def buildDict(vals: list, refDF: pd.DataFrame) -> dict:
    rslt = defaultdict(list)
    for v in vals:
        try:
            loc = refDF[refDF['Data'] == v]['Location'].values[0]
            rslt[v].append(loc)
        except KeyError:
            pass
    return rslt      

使用 buildDict 函数，您可以执行以下操作：

df1['Count'] = df1.apply(lambda row: buildDict(row.Col1, df2), axis=1)  

这会导致修改 df1，如下所示：

    Col1    Count
0   [Data1, Data2, Data3]   {'Data1': ['location1'], 'Data2': ['location2'...
1   [Data11, Data21, Data31]    {'Data11': ['location1'], 'Data21': ['location...