如何将可迭代对象转换为流？

Question

如果我有一个包含字符串的可迭代对象，是否有一种简单的方法将其转换为流？我想做这样的事情：

def make_file():
    yield "hello\n"
    yield "world\n"

output = tarfile.TarFile(…)
stream = iterable_to_stream(make_file())
output.addfile(…, stream)

Answer 1

Python 3 有一个新的 I/O 流 API (库文档），替换旧的类似文件的对象协议。 （新的 API 也可以在 Python 2 的 io 模块中找到，并且它向后兼容类文件对象协议。）

这是新 API 的实现，使用 Python 2 和 3：

import io

def iterable_to_stream(iterable, buffer_size=io.DEFAULT_BUFFER_SIZE):
    """
    Lets you use an iterable (e.g. a generator) that yields bytestrings as a read-only
    input stream.

    The stream implements Python 3's newer I/O API (available in Python 2's io module).
    For efficiency, the stream is buffered.
    """
    class IterStream(io.RawIOBase):
        def __init__(self):
            self.leftover = None
        def readable(self):
            return True
        def readinto(self, b):
            try:
                l = len(b)  # We're supposed to return at most this much
                chunk = self.leftover or next(iterable)
                output, self.leftover = chunk[:l], chunk[l:]
                b[:len(output)] = output
                return len(output)
            except StopIteration:
                return 0    # indicate EOF
    return io.BufferedReader(IterStream(), buffer_size=buffer_size)

示例 用法：

with iterable_to_stream(str(x**2).encode('utf8') for x in range(11)) as s:
    print(s.read())

Answer 2

这是我的流式迭代器，是 urllib3 的实验分支，支持通过可迭代的流式分块请求：

class IterStreamer(object):
    """
    File-like streaming iterator.
    """
    def __init__(self, generator):
        self.generator = generator
        self.iterator = iter(generator)
        self.leftover = ''

    def __len__(self):
        return self.generator.__len__()

    def __iter__(self):
        return self.iterator

    def next(self):
        return self.iterator.next()

    def read(self, size):
        data = self.leftover
        count = len(self.leftover)

        if count < size:
            try:
                while count < size:
                    chunk = self.next()
                    data += chunk
                    count += len(chunk)
            except StopIteration:
                pass

        self.leftover = data[size:]

        return data[:size]

带有上下文的源代码：
https://github.com/shazow/urllib3/blob /filepost-stream/urllib3/filepost.py#L23

相关单元测试：
https://github.com/shazow/urllib3/blob /filepost-stream/test/test_filepost.py#L9

唉，这段代码还没有进入稳定分支，因为对无大小分块请求的支持很差，但它应该是一个很好的基础你正在尝试做的事。请参阅源链接以获取展示如何使用它的示例。

Answer 3

由于看起来没有“标准”的方法来做到这一点，所以我拼凑了一个简单的实现：

class iter_to_stream(object):
    def __init__(self, iterable):
        self.buffered = ""
        self.iter = iter(iterable)

    def read(self, size):
        result = ""
        while size > 0:
            data = self.buffered or next(self.iter, None)
            self.buffered = ""
            if data is None:
                break
            size -= len(data)
            if size < 0:
                data, self.buffered = data[:size], data[size:]
            result += data
        return result

Answer 4

一个起点：

class iterable_to_stream:
    def __init__(self, iterable):
        self.iter = iter(iterable)

    def read(self):
        try:
            return self.iter.next()
        except StopIteration:
            return ""

Answer 5

对机械蜗牛的答案进行了一点修改。这里，readinto(b) 实现对底层迭代器进行多次调用，以便为给定的可写字节类对象 bb< 的大小收集尽可能多的字节数。 /代码>。

class IteratorReader(io.RawIOBase):

    def __init__(self, iterator):
        self.iterator = iterator
        self.leftover = []

    def readinto(self, buffer: bytearray) -> Optional[int]:
        size = len(buffer)
        while len(self.leftover) < size:
            try:
                self.leftover.extend(next(self.iterator))
            except StopIteration:
                break

        if len(self.leftover) == 0:
            return 0

        output, self.leftover = self.leftover[:size], self.leftover[size:]
        buffer[:len(output)] = output
        return len(output)

    def readable(self) -> bool:
        return True

和用法：

def iterator1():
    for i in ('a', 'b', 'c', 'd', 'e', 'f', 'g'):
        res = i * 3
        yield res.encode("utf8")


iterreader = IteratorReader(iterator1())
while True:
    r = iterreader.read(4)
    if not r:
        break
    print(r)

Answer 6

TarFile 接受任何提供类似文件的接口< /a> - 所以你可以使用 StringIO （ <一href="http://docs.python.org/release/3.0.1/library/io.html" rel="nofollow">io.StringIO 如果您使用的是 Python 3.X) 来生成 TarFile.addfile() 所需的内容，或者您​​可以创建自己的类来提供 类似文件的接口并产生您需要的内容。