为什么 takewhile() 会跳过第一行？

Question

我有一个这样的文件：

1
2
3
TAB
1
2
3
TAB

我想将 TAB 之间的行作为块读取。

import itertools

def block_generator(file):
    with open(file) as lines:
        for line in lines:
            block = list(itertools.takewhile(lambda x: x.rstrip('\n') != '\t',
                                             lines))
            yield block

我想这样使用它：

blocks = block_generator(myfile)
for block in blocks:
    do_something(block)

我得到的块都以第二行开始，例如 [2,3] [2,3]，为什么？

Answer 1

这是使用 groupby 的另一种方法

from itertools import groupby
def block_generator(filename):
    with open(filename) as lines:
        for pred,block in groupby(lines, "\t\n".__ne__):
            if pred:
                yield block

Answer 2

给你，经过测试的代码。使用 while True: 进行循环，并让 itertools.takewhile() 使用 lines 执行所有操作。当 itertools.takewhile() 到达输入末尾时，它返回一个迭代器，该迭代器除了引发 StopIteration 之外不执行任何操作，而 list() 只是简单地将到一个空列表中，因此一个简单的 if not block: 测试会检测到空列表并跳出循环。

import itertools

def not_tabline(line):
    return '\t' != line.rstrip('\n')

def block_generator(file):
    with open(file) as lines:
        while True:
            block = list(itertools.takewhile(not_tabline, lines))
            if not block:
                break
            yield block

for block in block_generator("test.txt"):
    print "BLOCK:"
    print block

正如下面的评论所述，这有一个缺陷：如果输入文本连续两行仅包含制表符，则此循环将停止处理而不读取所有输入文本。我想不出有什么办法可以干净利落地处理这个问题；确实不幸的是，从 itertools.takewhile() 返回的迭代器使用 StopIteration both 作为组结束的标记，并作为您在文件末尾得到的内容。更糟糕的是，我找不到任何方法来询问文件迭代器对象是否已到达文件末尾。更糟糕的是，itertools.takewhile() 似乎将文件迭代器立即推进到文件末尾；当我尝试重写上面的内容以使用lines.tell()检查我们的进度时，它已经在第一组之后的文件末尾了。

我建议使用 itertools.groupby() 解决方案。更干净了。

Answer 3

我认为问题在于您在 lambda 函数中使用的是 lines，而不是 line。您的预期产出是多少？

Answer 4

itertools.takewhile 隐式迭代文件的行以获取块，但 for line inlines: 也是如此。每次循环时，都会抓取一条 line，然后将其丢弃（因为没有使用 line 的代码），然后再添加一些 block >一起。