如何从字符串列表中删除单词列表

Question

抱歉，如果问题有点令人困惑。这类似于这个问题

我认为这是上面的问题接近我想要的，但是在 Clojure 中。

还有另一个问题

我需要这样的东西，但不是'[br]' 在该问题中，有一个需要搜索和删除的字符串列表。

希望我说清楚了。

我认为这是因为 python 中的字符串是不可变的。

我有一个噪音词列表，需要从字符串列表中删除。

如果我使用列表理解，我最终会一次又一次地搜索相同的字符串。因此，只有“of”被删除，而不是“the”。所以我的修改后的列表看起来像这样，

places = ['New York', 'the New York City', 'at Moscow' and many more]

noise_words_list = ['of', 'the', 'in', 'for', 'at']

for place in places:
    stuff = [place.replace(w, "").strip() for w in noise_words_list if place.startswith(w)]

我想知道我犯了什么错误。

Answer 1

如果没有正则表达式，你可以这样做：

places = ['of New York', 'of the New York']

noise_words_set = {'of', 'the', 'at', 'for', 'in'}
stuff = [' '.join(w for w in place.split() if w.lower() not in noise_words_set)
         for place in places
         ]
print stuff

Answer 2

这是我的尝试。这使用了正则表达式。

import re
pattern = re.compile("(of|the|in|for|at)\W", re.I)
phrases = ['of New York', 'of the New York']
map(lambda phrase: pattern.sub("", phrase),  phrases) # ['New York', 'New York']

Sans lambda：

[pattern.sub("", phrase) for phrase in phrases]

更新

修复gnibbler指出的错误（谢谢！）：

pattern = re.compile("\\b(of|the|in|for|at)\\W", re.I)
phrases = ['of New York', 'of the New York', 'Spain has rain']
[pattern.sub("", phrase) for phrase in phrases] # ['New York', 'New York', 'Spain has rain']

@prabhu：上述更改避免了从“Spain”中剪掉尾随的“in”。要验证，请针对短语“西班牙下雨”运行两个版本的正则表达式。

Answer 3

>>> import re
>>> noise_words_list = ['of', 'the', 'in', 'for', 'at']
>>> phrases = ['of New York', 'of the New York']
>>> noise_re = re.compile('\\b(%s)\\W'%('|'.join(map(re.escape,noise_words_list))),re.I)
>>> [noise_re.sub('',p) for p in phrases]
['New York', 'New York']

Answer 4

由于您想知道自己做错了什么，因此

stuff = [place.replace(w, "").strip() for w in noise_words_list if place.startswith(w)]

发生了这一行：，然后开始循环单词。首先它检查“of”。检查您的地点（例如“of the New York”）是否以“of”开头。它被转换（调用替换和剥离）并添加到结果列表中。这里最重要的是结果不会被再次检查。对于您在推导式中迭代的每个单词，都会将一个新结果添加到结果列表中。因此下一个单词是“the”，并且您的地点（“of the New York”）不以“the”开头，因此不会添加新结果。

我假设您最终得到的结果是位置变量的串联。更容易阅读和理解的过程版本是（未经测试）：

results = []
for place in places:
    for word in words:
        if place.startswith(word):
            place = place.replace(word, "").strip()
    results.append(place)

请记住，replace() 会删除字符串中任何位置的单词，即使它作为简单的子字符串出现。您可以通过使用具有类似于 ^the\b 的模式的正则表达式来避免这种情况。