* 解包是否在生成器表达式上使用内存？

Question

上下文示例：

调用 * 来解压输入是否会将所有内容放入内存？我希望不是，只是想确认我的理解。

input = (x for x in ((1, 'abc'), (2, 'def'))) # generator expression
unzipped = zip(*input) # Does *input get completely unpacked or stay memory efficient?
first_items = next(unzipped)
print(first_items)
# >> (1, 2)

Answer 1

解包会急切地解包相关迭代的顶层，因此在您的情况下，是的，它将在实际调用 zip 之前运行生成器表达式以完成，然后执行相当于 zip( (1, 'abc'), (2, 'def'))。如果生成器内部的迭代器本身就是惰性迭代器，那么 zip 根本不会预读取它们，这通常是更重要的节省。例如，如果 input 定义为：

input = (open(name) for name in ('file1', 'file2'))

then while:

unzipped = zip(*input)

does eagerly open 两个文件（因此您也可能使用了 listcomp； genexpr 并没有真正保存任何内容），它不会从它们中读取任何一行。然后，当您这样做时：

first_items = next(unzipped)

它会从每个文件中读取一行，但在您请求更多项目之前，它不会读取文件的其余部分（从技术上讲，在幕后，文件对象会阻止读取，因此它将读取超过只是它返回的行，但这是一个实现细节；它不会仅仅为了给您第一行而占用整个 10 GB 文件）。

这就是*解包的本质；接收函数需要在调用时填充其参数。如果你定义：

def foo(a, b):
    print(b)
    print(a)

如果调用者可以执行 foo(*iterator) ，迭代器在生成 a 的值时会引发异常，但你只当您执行 print(b) 时看到它（此时它必须将迭代器前进两次才能延迟填充 b）。没有人知道出了什么问题。实际上，每个函数都必须处理这样一个事实：简单地加载其参数（不对它们执行任何操作）可能会引发异常。不漂亮。

当处理惰性迭代器是合理的时候（它不适用于 zip ；无论如何，第一个输出将需要从所有参数中读取，所以最多你会延迟从构造时刻到您第一次从中提取值，除非您构建一个 zip 对象并将其丢弃（未使用），否则不会保存任何内容），只需直接接受迭代器即可。或者两者都做； itertools' chain 允许 eager:

for item in chain(iter1, iter2):

和懒惰:

for item in chain.from_iterable(iter_of_iters):

调用技术，正是因为它不想强迫拥有 iter_of_iters 的人在将第一个值链接到单个值之前实现内存中的所有迭代器（这是 for item in chain(*iter_of_iters): 所需要的）。