用python逐行比较大文本文件

Question

我正在处理一些具有通用格式的大型（几百万行）生物信息学数据集：

chromosomeNumber locusStart locusStop sequence moreData

我还有这种格式的其他文件：

chromosomeNumber locusStart locusStop moreData

我需要做的是将每种类型的文件之一读入内存，并且如果 locusStart上层文件中的一行位于下层文件中任何行的开头和结尾之间，则将该行打印到输出文件 1。如果该行的 locusStart 不在底层文件中任何行的开头和结尾之间，然后将其打印到输出文件 2。

我当前正在读取文件，将它们转换为以染色体为键控的字典，并以相应的行作为值。然后，我将每个值行拆分为一个字符串，然后与字符串进行比较。这需要很长的时间，我想知道是否有更有效的方法来做到这一点。

谢谢。

Answer 1

听起来您将进行大量大于/小于比较，因此我认为将数据加载到字典中根本不会提高代码的速度 - 根据您的解释听起来您仍在循环遍历一个文件或另一个文件中的每个元素。

您需要的是不同的数据结构来加载数据并运行比较操作。查看 Python bisect 模块，我认为它可能提供您需要更有效地运行比较操作的数据结构。

---

如果您可以更准确地描述您想要完成的任务，我们将能够帮助您开始编写代码。

Answer 2

使用染色体编号字典是一个好主意，只要您可以将两个文件放入内存即可。

然后，您想按 locusStart 对两个列表进行排序（拆分字符串，将 locusStart 转换为数字 - 请参阅 如果您不确定如何单独对 locusStart 进行排序，请参阅排序说明）。

现在您可以浏览列表：如果较低的 locusStart 小于第一个较高的 locusStart，则将该行放入文件 2 中，然后继续处理下一个。如果下位locusStart大于第一个上位locusStart，则

• 当它也大于locusEnd时，丢弃上位列表的开头
• 如果发现大于locusStart且小于locusEnd的情况，则将其放入文件1中
• 否则，将其放入文件 2

这应该用 O(n log n) 算法替换现在可能的 O(n^2) 算法。

Answer 3

看来对于较低的文件（我假设它具有第二种格式），您关心的唯一字段是“locusStart”。由于从您的描述来看，您不一定关心其他数据，因此您可以制作一组所有 locusStart：

locusStart_list = set()
with open(upper_file, 'r') as f:
  for line in f:
    tmp_list = line.strip().split()
    locusStart_list.add(tmp_list[1])

这将删除您对底部文件所做的所有不必要的行操作。然后，您可以轻松地将字段的 locusStart 与从较低文件构建的集合进行比较。该集合还将删除重复项，使其比使用列表更快一些。