抓取图片时如何判断图片已经下载完毕了

Question

1. 初学 Python，通过尝试抓取网页内容来当突破口。

2. 目前的方法是：

   1. 从列表页获取页内所有的详情页地址;

   2. 从详情页地址中获取所有的图片地址，并以详情页 url 的最后一段作为文件夹的名称;

   3. 每个图片地址起一个线程，拿到图片内容并存下来，用 url 的最后一段作为文件名；

   4. 环境是 win10 + python3，用到的库主要是 PyQuery、requests，抓的是 lofter 的网页。

3. 目前遇到的问题是：下载下来的图片很可能只有一半，上半截是图片，下半截是红蓝绿交替

4. 尝试过每抓一张图片就 sleep2 秒钟，并没有效果。

5. 想请问有啥办法判断图片是否下载完成么？我现在想到的一个办法是根据图片大小来判断，但是召回和准确难以兼顾。

Answer 1

http response头域里头有Content-Length 根据这个判断是否和下载下来的大小一样 ，这个可以解决上面正常下面交替或者白板的问题，但是解决不了左右错误问题。左右错位问题有人用图像识别去做