Python：使用 f.next() 迭代时在文件中倒回一行

Question

当您使用 f.next() 迭代文件时，Python 的 f.tell 无法按我的预期工作：

>>> f=open(".bash_profile", "r")
>>> f.tell()
0
>>> f.next()
"alias rm='rm -i'\n"
>>> f.tell()
397
>>> f.next()
"alias cp='cp -i'\n"
>>> f.tell()
397
>>> f.next()
"alias mv='mv -i'\n"
>>> f.tell()
397

看起来它为您提供了缓冲区的位置，而不是刚刚使用 next() 获得的位置。

我以前使用过seek/tell 技巧 在使用 readline() 迭代文件时倒回一行。使用 next() 时有没有办法倒回一行？

Answer 1

不。我会制作一个适配器，主要转发所有调用，但在执行 next 时保留最后一行的副本，然后让您调用不同的方法以使该行再次弹出。

实际上，我会让适配器成为一个可以包装任何可迭代对象的适配器，而不是文件的包装器，因为这听起来它在其他上下文中经常有用。

Alex 使用 itertools.tee 适配器的建议也有效，但我认为编写自己的迭代器适配器来处理这种情况通常会更干净。

这是一个例子：

class rewindable_iterator(object):
    not_started = object()

    def __init__(self, iterator):
        self._iter = iter(iterator)
        self._use_save = False
        self._save = self.not_started

    def __iter__(self):
        return self

    def next(self):
        if self._use_save:
            self._use_save = False
        else:
            self._save = self._iter.next()
        return self._save

    def backup(self):
        if self._use_save:
            raise RuntimeError("Tried to backup more than one step.")
        elif self._save is self.not_started:
            raise RuntimeError("Can't backup past the beginning.")
        self._use_save = True


fiter = rewindable_iterator(file('file.txt', 'r'))
for line in fiter:
    result = process_line(line)
    if result is DoOver:
        fiter.backup()

这并不会太难扩展到允许您备份多个值的东西。

Answer 2

itertools.tee 可能是最不糟糕的方法 - 你可以不要“击败”通过迭代文件完成的缓冲（您也不想这样做：性能影响会很糟糕），因此保留两个迭代器，一个“落后一步”另一个，对我来说似乎是最合理的解决方案。

import itertools as it

with open('a.txt') as f:
  f1, f2 = it.tee(f)
  f2 = it.chain([None], f2)
  for thisline, prevline in it.izip(f1, f2):
    ...

Answer 3

Python 的文件迭代器会进行大量缓冲，从而将文件中的位置提前到迭代之前。如果您想使用 file.tell() 您必须“以旧方式”执行此操作：

with open(filename) as fileob:
  line = fileob.readline()
  while line:
    print fileob.tell()
    line = fileob.readline()