利用FileCacheQueueScheduler后抓取结束进程却无法自动停止
使用wemgaic框架进行爬取页面数据时,利用FileCacheQueueScheduler进行的增量爬取，但是在爬取结束后（需要爬取的数据，都已经记录在urls.txt和cursor.txt两个文件下了），进程无法自动停止，而且还会漏掉一些数据，爬取不到，是因为爬取的数据不完全才导致进程没有停止的吗？还是别的什么原因
因为刚学爬虫，对这些很多都不懂，
希望各位大佬指点，谢谢
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
根据网上的案例，重写了一下
public class FilesCacheQueueScheduler extends DuplicateRemovedScheduler implements MonitorableScheduler,Closeable
这个方法，判断，保存的urls文件中，有没有之前保存的方法，有的话，则不进行爬取
因他爬取的时候，会先把一部分一部分读取路径，在爬取