模糊匹配列，列表的正确名称

Question

我有带有错别字的DataFrame列。

ID	Banknane
1	美国银行
2	美国
3	JP MORG
4	JP MORGAN

和我有一个带有银行名称的清单。

["Bank of America", "JPMorgan Chase]

我想在Levenshtein距离的帮助下，用列表的正确名称来检查并替换错误的钞票名称。

Answer 1

这是一种使用Python标准库 fivflib 模块，这是一种简单的方法。提供计算三角洲的助手。

from difflib import SequenceMatcher

# Define a helper function
def match(x, values, threshold):
    def ratio(a, b):
        return SequenceMatcher(None, a, b).ratio()

    results = {
        value: ratio(value, x) for value in values if ratio(value, x) > threshold
    }
    return max(results, key=results.get) if results else x

然后：

import pandas as pd

df = pd.DataFrame(
    {
        "ID": [1, 2, 3, 4],
        "Bankname": ["Bank of America", "bnk of America", "Jp Morg", "Jp Morgan"],
    }
)

names = ["Bank of America", "JPMorgan Chase"]

df["Bankname"] = df["Bankname"].apply(lambda x: match(x, names, 0.4))

这样：

print(df)
# Output
   ID         Bankname
0   1  Bank of America
1   2  Bank of America
2   3   JPMorgan Chase
3   4   JPMorgan Chase

当然，您可以将Inner 比率函数替换为任何其他更适合的序列匹配器。