pyspider如果抓取增量信息？

Question

大家新年快乐

最近在做一个爬虫相关的项目
业务需求是这样的，拿抓取微博信息为例：
抓取某个微博号，抓取他的每一条微博信息，然后获取每一条微博信息的转发数、评论数、点赞数等等信息。需要有周期性的任务抓取每一条微博信息的转发数、评论数、点赞数的增量，当然，不同的需求，可能是每个号一周更新一次，或者一天更新一次，或者一个月更新一次等等。偶尔会有临时的任务，抓取指定的微博的信息（也就是我现在想看到这个微博号的最新的所有信息）。

现在我们用的是自己用python写的，后来我还尝试过scrapy。但是，为了能达到周期性抓取增量的话，scrapy好像还需要扩展。刚刚接触pyspider，好像觉得还不错。但是还是有些不太会使用。大家能不能提供一些相关例子？

def on_start(self):
    // 抓取url,每10秒一次
    self.crawl('someurl',
        callback=self.index_page,
        age=10, auto_recrawl=True, force_update=True,
    )
def close_crawl(self):
    pass
def index_page(self, response):
    // 如果抓取次数大于某个值，就把该任务停止抓取
    if ... > xxx:
        self.crawl('someurl',
            callback=self.close_crawl, age=-1,
            force_update=True)
    return response.text
    

请问还有其它方式关掉这个crawl吗？我现在利用的是age=-1

因为有一些页面需要key去访问，如果在一定的时间内，访问次数过多的话，会被封掉，或者有验证码，如果这些页面，需要每3-5秒抓取一次的话，那么应该如果做？

Answer 1

def index_page(self, response, task), 修改 task['schedule']['auto_recrawl'] = False 也可以

如果毎 3-5 秒抓取一次会触发验证码的话, 没有办法.