Question

下面是串行下载时，之前开发的链接爬虫使用AlexaCallback``回调 的代码。

scrape_callback = AlexaCallback()
link_crawler(seed_url=scrape_callback.seed_url,
    cache_callback=MongoCache(),
    scrape_callback=scrape_callback)

完整源码可以从https://bitbucket.org/wswp/code/src/tip/ chapter04/sequential_test.py 获取，我们可以在命令行中执行如下命令运行该脚本。

$ time python sequential_test.py
...
26m41.141s

根据该执行结果估算，串行下载时平均每个URL需要花费1.6秒。