对抓取失败的url保存起来，延迟抓取

Question

使用spider 抓取页面时，有时候，页面访问会失败（或运行异常），但这个流程是一个整体，必须把抓取失败的页面保存在一个delayQueueSchedualer 里面，在一定的时间内重新抓取。这个过程要如何实现

Answer 1

在 pageprocessor 里面 尝试调用 page.addTargetRequests(page.getHtml().toString());

把该url 重新放入 scheduler ， 但是 在 spider 里面 addrequest 的时候，会 调用默认的

QueueScheduler ，在这个scheduler 里面，不允许重复的url，所以程序抓取错误后还是会自动退出

。现在考虑，

1、实现自定义的 Scheduler 在里面 ，简单的调用push，不去除重复的操作。

2、这个框架里面应该有方法，可以把失败的url 丢进去，继续抓取的（即时它之前已经抓过）