在 Python 中模糊匹配大量文本中的字符串（url）

Question

我有一个公司名称列表，还有一个提及公司名称的 url 列表。

最终目标是查看该 url，并找出该 url 上有多少家公司在我的列表中。

示例 URL：http://www.dmx.com/about/our-clients

每个URL 的结构会有所不同，因此我没有一个好的方法来进行正则表达式搜索并为每个公司名称创建单独的字符串。

我想构建一个 for 循环来从 URL 的整个内容列表中搜索每个公司。但看起来 Levenshtein 更适合两个较小的字符串，而不是一个短字符串和大量文本。

这个初学者应该在哪里寻找？

Answer 1

在我看来，您不需要任何“模糊”匹配。我假设当你说“url”时，你的意思是“url 指向的地址的网页”。只需使用Python内置的子字符串搜索功能：

>>> import urllib2
>>> webpage = urllib2.urlopen('http://www.dmx.com/about/our-clients')
>>> webpage_text = webpage.read()
>>> webpage.close()
>>> for name in ['Caribou Coffee', 'Express', 'Sears']:
...     if name in webpage_text:
...         print name, "found!"
... 
Caribou Coffee found!
Express found!
>>> 

如果您担心字符串大小写不匹配，只需将其全部转换为大写即可。

>>> webpage_text = webpage_text.upper()
>>> for name in ['CARIBOU COFFEE', 'EXPRESS', 'SEARS']:
...     if name in webpage_text:
...         print name, 'found!'
... 
CARIBOU COFFEE found!
EXPRESS found!

Answer 2

我想在 senderle 的答案中补充一点，以某种方式规范化你的名字可能是有意义的（例如，删除所有特殊字符，然后将其应用于网页文本和你的字符串列表。

def normalize_str(some_str):
    some_str = some_str.lower()
    for c in """-?'"/{}[]()&!,.`""":
        some_str = some_str.replace(c,"")
    return some_str

如果这还不够好，你可以转到 difflib 并执行以下操作：

for client in normalized_client_names:
    closest_client = difflib.get_closest_match(client_name, webpage_text,1,0.8)
    if len(closest_client) > 0:
         print client_name, "found as", closest_client[0]

我选择的任意截止值（Ratcliff/Obershelp）比率0.8 可能太宽松或太严格；稍微调整一下。