如何在Python中循环直到EOF？

Question

我需要循环，直到到达类似文件的对象的末尾，但我没有找到“明显的方法”，这让我怀疑我忽略了一些明显的东西。 :-)

我有一个流（在本例中，它是一个 StringIO 对象，但我也对一般情况感到好奇），它在“”中存储未知数量的记录格式，例如：

data = StringIO("\x07\x00\x00\x00foobar\x00\x04\x00\x00\x00baz\x00")

现在，我能想象阅读此内容的唯一清晰方法是使用（我认为的）初始化循环，这似乎有点不符合 Python 风格：

len_name = data.read(4)

while len_name != "":
    len_name = struct.unpack("<I", len_name)[0]
    names.append(data.read(len_name))

    len_name = data.read(4)

在类似 C 的语言中，我只需坚持while 的测试子句中的 read(4) ，但这当然不适用于 Python。关于更好的方法来实现这一目标有什么想法吗？

Answer 1

您可以将通过 iter() 的迭代与哨兵结合起来：

for block in iter(lambda: file_obj.read(4), ""):
  use(block)

Answer 2

您是否了解过如何迭代文本文件中的行？

for line in file_obj:
  use(line)

您可以使用自己的生成器执行相同的操作：

def read_blocks(file_obj, size):
  while True:
    data = file_obj.read(size)
    if not data:
      break
    yield data

for block in read_blocks(file_obj, 4):
  use(block)

另请参阅：

• file.read

Answer 3

我更喜欢已经提到的基于迭代器的解决方案，将其转换为 for 循环。另一个直接编写的解决方案是 Knuth 的“循环半”。

while 1:
    len_name = data.read(4)
    if not len_name:
        break
    names.append(data.read(len_name))

通过比较，您可以看到它如何轻松地提升到自己的生成器中并用作 for 循环。

Answer 4

正如预测的那样，我看到典型且最流行的答案是使用非常专业的生成器“一次读取 4 个字节”。有时，通用性并不困难（而且更有价值；-），因此，我建议采用以下非常通用的解决方案：

import operator
def funlooper(afun, *a, **k):
  wearedone = k.pop('wearedone', operator.not_)
  while True:
    data = afun(*a, **k)
    if wearedone(data): break
    yield data

现在您想要的循环标头只是： for len_name in funlooper(data.read, 4 ）：。

编辑：通过 wearedone 惯用法变得更加通用，因为有评论指责我不太通用的先前版本（将退出测试硬编码为 if not data:) 拥有“隐藏的依赖”，所有的事情！-)

通常的瑞士军刀循环， itertools，当然也可以，像往常一样：

import itertools as it

for len_name in it.takewhile(bool, it.imap(data.read, it.repeat(4))): ...

或者，相当等效：

import itertools as it

def loop(pred, fun, *args):
  return it.takewhile(pred, it.starmap(fun, it.repeat(args)))

for len_name in loop(bool, data.read, 4): ...

Answer 5

python 中的 EOF 标记是一个空字符串，因此您所拥有的非常接近您将获得的最佳结果，而无需编写函数将其包装在迭代器中。我可以通过更改 while 来以更 Pythonic 的方式编写，如下所示：

while len_name:
    len_name = struct.unpack("<I", len_name)[0]
    names.append(data.read(len_name))
    len_name = data.read(4)

Answer 6

为了提高可读性，我会采纳 Tendayi 的建议 re 函数和迭代器：

def read4():
    len_name = data.read(4)
    if len_name:
        len_name = struct.unpack("<I", len_name)[0]
        return data.read(len_name)
    else:
        raise StopIteration

for d in iter(read4, ''):
    names.append(d)