在Python 3中逐部分下载文件

Question

我正在使用 Python 3 下载文件：

local_file = open(file_name, "w" + file_mode)
local_file.write(f.read())
local_file.close()

此代码可以工作，但它首先将整个文件复制到内存中。这是非常大的文件的问题，因为我的程序会占用内存。 （对于一个200 MB的文件，从17M内存到240M内存）

我想知道Python中是否有一种方法可以下载文件的一小部分（数据包），将其写入文件，从内存中删除它，并保留重复该过程，直到文件完全下载。

Answer 1

尝试使用此处描述的方法：

在Python中读取大文件的惰性方法？

我特别指的是已接受的答案。让我也将其复制到此处，以确保回复完全清晰。

    def read_in_chunks(file_object, chunk_size=1024):
        """Lazy function (generator) to read a file piece by piece.
        Default chunk size: 1k."""
        while True:
            data = file_object.read(chunk_size)
            if not data:
                break
            yield data


    f = open('really_big_file.dat')
    for piece in read_in_chunks(f):
        process_data(piece)

这可能会适应您的需求：它以较小的块读取文件，允许在不填满整个内存的情况下进行处理。如果您还有任何疑问，请回来。