使用requests下载大文件，设置steam=True，如何确保文件被完整下载？

Question

我使用requests下载文件，有时候会在网络情况不好的情况下不能完整的下载文件，该如何确保文件被完整的下载？

条件1: 文件的响应头中并没有content-length，我无法知道文件具体的大小

下载代码如下

r = requests.get(url, stream=True)
with open('test', 'wb') as fd:
    for chunk in r.iter_content(1024 * 100):
        fd.write(chunk)

网络问题不好重现，我测试的方法是，在本地使用python -m SimpleHTTPServer搭建服务端，然后用此代码下载大文件，然后手动关闭服务端，此代码并没有引发任何异常成功退出，下载的文件也是不完整的。

我希望这种不正常关闭连接能够触发异常处理，该如何做？

Answer 1

分段下，下完再拼起来就好了

Answer 2

只是验证下载文件完整性的话可以在循环结束后验证文件MD5值，不过实现要把源文件的MD5传到连接里，可以在工作目录建立一个文本文件存下当前目录所有文件的MD5值，再通过GET参数传到requests里，例如http://localhost/a.mp4?md5=xx...

Answer 3

您好，我昨天也遇到了您这样的情况，在查询资料后用文件长度校验的方式解决了这个问题。

在网络不佳的情况下，可以尝试使用多线程下载，将文件分成几个小块，分别获取每个小块的start和end数据位置，然后在写入文件的函数前，加上：

……以上是每个进程下载的代码

def check(length,start,end):
    if abs((end - start)/length -1) < 0.005 :
        return True
    else:
        return Flase
        
header(url,length,start,end)        
while not check(length,start,end):
    print('校验失败，重新下载中")
    header(url,length,start,end)        
    
with open（file_name,'rb'）as f:

……以下略

在网上原有多线程操作的基础上加上这段代码，可以解决因为网络断线造成的文件不完整的问题