使用 Python 在许多文档中搜索许多表达式

Question

我经常需要在许多文档（百万+）中搜索许多单词（1000+）。我需要匹配单词的位置（如果匹配）。

那么慢的伪代码版本是

for text in documents:
     for word in words:
             position = search(word, text)
             if position:
                  print word, position 

有没有快速的Python模块可以做到这一点？或者我应该自己实施一些东西？

Answer 1

要快速精确文本、多关键字搜索，请尝试 acora - http://pypi.python.org /pypi/acora/1.4

如果你想要一些额外的东西 - 结果相关性、近似匹配、词根等，Whoosh 可能会更好 - http://pypi.python.org/pypi/Whoosh/1.4.1

我不知道扩展到数百万个文档的效果如何，但它很快就会发现！

Answer 2

grep 有什么问题吗？

那么你必须使用Python吗？怎么样：

import subprocess

subprocess.Popen('grep <pattern> <file>')

这太疯狂了。但是嘿！您正在使用 python ;-)

Answer 3

假设 documents 是一个字符串列表，您可以使用 text.index(word) 查找第一个匹配项，并使用 text.count(word)找出出现的总数。您的伪代码似乎假设单词只会出现一次，因此 text.count(word) 可能是不必要的。