pyspider如何降低抓取频率？

Question

抓的太快很容易被封IP，所以我希望每10秒只抓一个页面，翻了下文档有两种设置貌似贴近需求

rate/burst = 0.1/3   

或者

i = 0
for each in response.doc(".item a").items:
    exetime = time.time() + i * 10
    self.crawl(each.attr.href,callback=self.detail_page,exetime=exetime)
    

这两种方法是否都能实现每10秒只抓一个页面呢？

Answer 1

建议使用第一个