如何在Python中通过删除换行符来搜索字符串，但返回找到字符串的确切行？

Question

我有一堆 PDF 文件，我必须根据它们搜索一组关键字。我必须提取找到关键字的确切行。我首先使用xpdf的pdf2text将文件转换为PDF。 （尝试过 solr，但很难根据我的要求定制输出/模式）。

import sys

file_name = sys.argv[1]
searched_string = sys.argv[2]
result = [(line_number+1, line) for line_number, line in enumerate(open(file_name)) if searched_string.lower() in line.lower()]

#print result

for each in result:
    print each[0], each[1]

ThinkCode:~$ python find_string.py example.txt“字符串提取”

我遇到的问题是，对于搜索字符串在行尾被破坏的情况：

如果您要索引大型二进制文件，请记住更改 尺寸限制。字符串

提取是一个常见问题

如果我正在搜索“字符串提取”，如果我使用上面提供的代码，我将错过这个关键字。在不制作 2 个文本文件副本的情况下实现此目标的最有效方法是什么（一个用于搜索关键字以提取行（数字），另一个用于删除换行符并查找关键字以消除关键字跨越 2 个文本文件的情况）线）。

非常感谢你们！

Answer 1

注意：一些没有任何代码的考虑因素，但我认为它们属于答案而不是评论。

我的想法是仅搜索第一个关键字；如果找到匹配项，则搜索第二个。这允许您，如果在行末尾找到匹配项，则考虑下一行，并且仅当在第一个位置找到匹配项时才进行行串联*。

编辑：

编写了一个简单的示例，但最终使用了不同的算法；其背后的基本思想是以下代码片段：

def iterwords(fh):
    for number, line in enumerate(fh):
        for word in re.split(r'\s+', line.strip()):
            yield number, word

它迭代文件处理程序并为文件中的每个单词生成一个 (line_number, word) 元组。

之后的匹配就变得非常简单；您可以在 github 上找到我的实现作为要点。它可以按如下方式运行：

python search.py 'multi word search string' file.txt

链接代码有一个主要问题，出于性能和复杂性原因，我没有编写解决方法。你能弄清楚吗？ （剧透：尝试搜索第一个单词在文件中连续出现两次的句子）

* 我自己没有执行任何测试，但是 本文 和 python wiki 表明字符串连接在 python 中效率不高（不知道信息的实际情况如何）。

Answer 2

可能有更好的方法，但我的建议是首先接收两行（让我们称它们为 line1 和 line2），将它们连接成 line3 或类似的内容，然后搜索结果行。

然后，您将 line2 分配给 line1，获取新的 line2，然后重复该过程。

Answer 3

编译表达式时使用标志 re.MULTILINE：http ://docs.python.org/library/re.html#re.MULTILINE

然后使用 \s 表示所有空白（包括换行符）。