在 Python 中将列表项与大文件中的行进行匹配的最有效方法是什么？

Question

我有一个名为 my_file 的大文件 (5Gb)。我有一个名为 my_list 的列表。读取文件中每一行的最有效方法是什么，如果 my_list 中的某个项目与 my_file 中某行的项目匹配，则创建一个名为 的新列表>matches 包含 my_file 中的行中的项目以及发生匹配的 my_list 中的项目。这是我想要做的：

def calc(my_file, my_list)
    matches = []
    my_file.seek(0,0)
    for i in my_file:
        i = list(i.rstrip('\n').split('\t'))
        for v in my_list:
            if v[1] == i[2]:
                item = v[0], i[1], i[3]
                matches.append(item)
    return matches

这是 my_file 中的一些行：

lion    4    blue    ch3
sheep   1    red     pq2
frog    9    green   xd7
donkey  2    aqua    zr8

这是 my_list 中的一些项目

intel    yellow
amd      green
msi      aqua    

所需的输出，一个列表的列表，在上面的示例中将be：

[['amd', 9, 'xd7'], ['msi', 2, 'zr8']]

我的代码目前可以工作，尽管速度很慢。使用生成器或序列化有帮助吗？谢谢。

Answer 1

您可以构建一个字典来查找 v。我添加了进一步的小优化：

def calc(my_file, my_list)

    vd = dict( (v[1],v[0]) for v in my_list)

    my_file.seek(0,0)
    for line in my_file:
        f0, f1, f2, f3 = line[:-1].split('\t')
        v0 = vd.get(f2)
        if v0 is not None:
           yield (v0, f1, f3)

对于大型 my_list 来说，这应该要快得多。

使用 get 比检查 i[2] 是否在 vd 中 + 访问 vd[i[2]]

为了获得超出这些优化的更多加速​​，我建议 http://www.cython.org

Answer 2

将项目保存在字典中而不是列表中（我们称之为items）。现在，按照您的操作迭代您的文件，并选出要查找的键 (i[2])，然后检查它是否在 items 中。

项目将是。

dict (yellow = "intel", green = "amd", aqua = "msi")

所以检查部分是。

if i[2] in items:
  yield [[items[i[2]], i[1], i[3]]

由于您只是创建列表并返回它，因此使用生成器可能有助于记忆程序的特征，而不是将整个事物放入列表中并返回它。

Answer 3

对于读取文件的开销，您无能为力，但根据您的示例代码，您可以通过将列表存储为字典（以目标字段作为键）来加快匹配速度。

这是一个示例，其中进行了一些额外的优化调整：

mylist = {
    "yellow" : "intel",
    "green" : "amd",
    # ....
}

matches = []
for line in my_file:
    i = line[:-1].split("\t")
    try:  # faster to ask for forgiveness than permission
        matches.append([mylist[i[2]], i[1], i[3]])
    except NameError:
        pass

但请再次注意，大部分性能瓶颈将出现在文件的读取中，并且此级别的优化可能不会对运行时产生足够大的影响。

Answer 4

这是 @rocksportrocker 的答案 使用 csv 模块：

import csv

def calc_csv(lines, lst):
    d = dict((v[1], v[0]) for v in lst) # use dict to speed up membership test
    return ((d[f2], f1, f3)
            for _, f1, f2, f3 in csv.reader(lines, dialect='excel-tab')
            if f2 in d) # assume that intersection is much less than the file

示例：

def test():
    my_file = """\
lion    4   blue    ch3
sheep   1   red pq2
frog    9   green   xd7
donkey  2   aqua    zr8
""".splitlines()

    my_list = [
    ("intel",    "yellow"),
    ("amd",      "green"),
    ("msi",      "aqua"),
    ]    

    res = list(calc_csv(my_file, my_list))
    assert [('amd', '9', 'xd7'), ('msi', '2', 'zr8')] == res


if __name__=="__main__":
   test()