.append() 耗时吗？

Question

这些天我一直在处理巨大的文本文件。有时我需要删除行。 我的做法如下：

f=open('txt','r').readlines()
list=[]
for line in f:
    if blablablabla:
       list.append(line)

我知道对于大文件，.readlines()是速率限制步骤，但是.append()步骤呢？读取行后追加是否会花费大量额外时间？ 如果是这样，也许我应该找到方法直接删除我不想要的行，而不是附加我想要的行。

谢谢

Answer 1

如果您稍后要过滤它，为什么要使用 readlines() 读取整个文件呢？只需迭代它即可保存您想要保留的行。您可以使用列表理解将其减少到几行：

with open('txt', 'r') as f:
    myList = [ line for line in f if blablablabla ]

Answer 2

作为一般提示，请执行此操作，无需在迭代之前先读取完整文件...

with open('txt') as fd:
    for line in fd:
        if blablabla:
            my_list.append(line)

并且不要将列表称为“列表”...

Answer 3

您应该使用列表理解，就像杰夫的回答一样。根据您需要处理数据的方式，您也许可以使用生成器表达式。

为了回答你关于append()的问题，

Python列表是预先分配的，并在末尾有一些额外的空间。这意味着追加速度非常快 - 直到您用完预分配的空间。每当扩展列表时，就会分配一个新的内存块，并将所有引用复制到其中。随着列表的增长，额外预分配空间的大小也会随之增长。这样做是为了使追加分摊为 O(1)。即追加的平均时间很快且恒定

Answer 4

在这篇文章中，我试图解释列表的工作方式以及为什么追加不是非常昂贵。我还在底部发布了一个解决方案，您可以使用它来删除行。

Python 列表的结构就像一个节点网络：

>>> class ListItem:
        def __init__(self, value, next=None):
            self.value = value
            self.next = next
        def __repr__(self):
            return "Item: %s"%self.value


>>> ListItem("a", ListItem("b", ListItem("c")))
Item: a
>>> mylist = ListItem("a", ListItem("b", ListItem("c")))
>>> mylist.next.next
Item: c

因此，append 基本上就是这样：

ListItem(mynewvalue, oldlistitem)

Append 没有太多开销，但另一方面 insert() 需要您重建整个列表，因此会花费更多的时间。

>>> from timeit import timeit
>>> timeit('a=[]\nfor i in range(100): a.append(i)', number=1000)
0.03651859015577941
>>> timeit('a=[]\nfor i in range(100): a.insert(0, i)', number=1000)
0.047090002177625934
>>> timeit('a=[]\nfor i in range(100): a.append(i)', number=10000)
0.18015429656996673
>>> timeit('a=[]\nfor i in range(100): a.insert(0, i)', number=10000)
0.35550057300308424

正如您所看到的，插入速度要慢得多。如果我是您，我会立即将不需要的行写回来，从而消除它们。

with open("large.txt", "r") as fin:
    with open("large.txt", "w") as f:
        for line in fin:
            if myfancyconditionismet:
                # write the line to the file again
                f.write(line + "\n")
            # otherwise it is gone

有我的解释和解决方案。

-Sunjay03

Answer 5

也许您想将其全部拉入内存，然后对其进行操作。也许一次只操作一条线更有意义。从你的解释中并不清楚哪个更好。

无论如何，无论您采用哪种方法，这里都有相当标准的代码：

# Pull one line into memory at a time
with open('txt','r') as f:
    lineiter = (line for line in f if blablablabla)
    for line in lineiter:
        # Do stuff

# Read the whole file into memory then work on it
with open('txt','r') as f:
    lineiter = (line for line in f if blablablabla)
    mylines = [line for line in lineiter]

如果您选择前一条路线，我建议您阅读有关生成器的内容。 Dave Beazley 有一篇关于生成器的精彩文章，名为“系统程序员的生成器技巧”。强烈推荐。