pyspider为什么每爬完一个url就更新整个项目

Question

如下图

每爬完一个任务，整个爬虫项目都会更新，而且在tasks界面，还出现 on_finished 的状态。如下图：

请问有知道是怎么回事的吗。

在链接的age设置为12小时，on_start那里age=24小时

代码如下：

Answer 1

类似这种边运行边新增任务的就是这样，很正常。抓完一项任务，对它进行处理的时候，下一项任务还没有生成，队列里没有任务需要抓取，就触发了on_finished。文档里写的很明确：
the method would be triggered when the task_queue goes to 0.