python有什么处理大量文件下载的方法

Question

有几百个 文件。但都不大，最大的也就几兆

我用pycurl下载。

我把下载地址放到 列表 里了。

取出第一个下载，等下完了，在取第二个。

但问题是，几百个下载连接，pycurl怎么判断当前文件下载完了，然后开始下一个。

Answer 1

但问题是，几百个下载连接，pycurl怎么判断当前文件下载完了，然后开始下一个。

pycurl 懂 HTTP 协议，你不用替它担心。

Answer 2

使用tomorrow并发执行

from tomorrow import threads

@threads(10)
def get_data(url):
    ...
    return res
    
urls = [...]

res = [get_data(url) for url in urls]

类似的吧。你没给示例，我就演示一下。具体怎么用可以到官网去看。