webmagic 可以在PageProcessor 的process方法中控制停止？

Question

@黄亿华 你好，想跟你请教个问题：Spider 是不是不会在
page.getTargetRequests()为空的时候自动停下来的？？如果不会停的话，能不能在
PageProcessor 的
process方法中控制停止？

Answer 1

设置exitWhenComplete为true，则会在scheduler.poll()返回null时，即没有url时终止；
我如此设置还是没有停止程序运行，程序变成阻塞状态了

Answer 2

这条代码在什么时候设置呢？能否在process方法内做判断，停止webmagic？

Answer 3

Spider.create(new ChinataxPayerProcessor()).setExitWhenComplete(true)

Answer 4

请问你的问题解决了没有，我想在process内抓取到页面信息后做判断，停止爬虫。

Answer 5

我也在弄这个问题，请问楼上，exitWhenComplete怎么用？能不能贴一个demo，功德无量

Answer 6

不能在process方法中控制停止，但是有两种控制方式：

1. 设置exitWhenComplete为true，则会在scheduler.poll()返回null时，即没有url时终止；

2. 设置exitWhenComplete为false，会在没有url时阻塞，但不会终止。