itertools 中的 izip_longest：这是怎么回事？

Question

我很难理解下面的代码是如何工作的。它来自 http://docs.python.org/library/itertools.html#itertools .izip_longest，是 izip_longest 迭代器的纯 Python 等效项。我对哨兵功能尤其感到困惑，它是如何工作的？

def izip_longest(*args, **kwds):
    # izip_longest('ABCD', 'xy', fillvalue='-') --> Ax By C- D-
    fillvalue = kwds.get('fillvalue')
    def sentinel(counter = ([fillvalue]*(len(args)-1)).pop):
        yield counter()         # yields the fillvalue, or raises IndexError
    fillers = repeat(fillvalue)
    iters = [chain(it, sentinel(), fillers) for it in args]
    try:
        for tup in izip(*iters):
            yield tup
    except IndexError:
        pass

Answer 1

好的，我们可以做到这一点。关于哨兵。表达式 ([fillvalue]*(len(args)-1)) 创建一个列表，其中包含 args 中每个可迭代对象的一个​​填充值（减一）。因此，对于上面的示例['-']。然后为 counter 分配 pop-该列表的功能。 sentinel 本身是一个生成器，弹出一个项目从每次迭代的列表中。您可以仅对 sentinel 返回的每个迭代器进行一次迭代，并且它始终会产生 fillvalue。由 sentinel 返回的所有迭代器产生的项目总数为 len(args) - 1 （感谢 Sven Marnach 的澄清，我误解了它）。

现在看看这个：

iters = [chain(it, sentinel(), fillers) for it in args]

这就是窍门。 iters 是一个列表，其中包含 args 中每个可迭代对象的迭代器。这些迭代器中的每一个都执行以下操作：

1. 迭代 args 中相应可迭代对象中的所有项目。
2. 迭代哨兵一次，产生 fillvalue。
3. 永远重复fillvalue。

现在，正如之前所建立的，我们只能在抛出 IndexError 之前将所有哨兵一起迭代 len(args)-1 次。这很好，因为其中一个可迭代对象是最长的。因此，当我们遇到 IndexError 引发的情况时，这意味着我们已经完成了对 args 中最长可迭代对象的迭代。

不客气。

PS：我希望这是可以理解的。

Answer 2

函数sentinel()返回迭代器，仅产生一次fillvalue。 sentinel() 返回的所有迭代器生成的 fillvalue 总数限制为 n-1，其中 n code> 是传递给 izip_longest() 的迭代器数量。在耗尽此数量的 fillvalue 后，对由 sentinel() 返回的迭代器进行进一步迭代将引发 IndexError。

该函数用于检测是否所有迭代器都已耗尽：每个迭代器都使用 sentinel() 返回的迭代器进行 chain() 操作。如果所有迭代器都已耗尽，sentinel() 返回的迭代器将被迭代 n 次，导致 IndexError，触发依次结束izip_longest()。

到目前为止，我解释了 sentinel() 的作用，而不是它的工作原理。当调用 izip_longest() 时，将评估 sentinel() 的定义。在评估定义时，每次调用 izip_longest() 时，也会评估 sentinel() 的默认参数。该代码相当于将

fillvalue_list = [fillvalue] * (len(args)-1)
def sentinel():
    yield fillvalue_list.pop()

其存储在默认参数中而不是存储在封闭范围内的变量中只是一种优化，就像在默认参数中包含 .pop 一样，因为它可以节省查找时间每次迭代 sentinel() 返回的迭代器时。

Answer 3

sentinel 的定义几乎与 相同，

def sentinel():
    yield ([fillvalue] * (len(args) - 1)).pop()

只是它获取 pop 绑定方法（函数对象）作为默认参数。默认参数在函数定义时计算，因此每次调用 izip_longest 一次，而不是每次调用 Sentinel 一次。因此，函数对象“记住”列表[fillvalue] * (len(args) - 1)，而不是在每次调用中重新构造它。