Question

Scheduler 是 WebMagic 中进行 URL 管理的组件。一般来说，Scheduler 包括两个作用：

1. 对待抓取的 URL 队列进行管理。
2. 对已抓取的 URL 进行去重。

WebMagic 内置了几个常用的 Scheduler。如果你只是在本地执行规模比较小的爬虫，那么基本无需定制 Scheduler，但是了解一下已经提供的几个 Scheduler 还是有意义的。

类	说明	备注
DuplicateRemovedScheduler	抽象基类，提供一些模板方法	继承它可以实现自己的功能
QueueScheduler	使用内存队列保存待抓取 URL
PriorityScheduler	使用带有优先级的内存队列保存待抓取 URL	耗费内存较 QueueScheduler 更大，但是当设置了 request.priority 之后，只能使用 PriorityScheduler 才可使优先级生效
FileCacheQueueScheduler	使用文件保存抓取 URL，可以在关闭程序并下次启动时，从之前抓取到的 URL 继续抓取	需指定路径，会建立.urls.txt 和.cursor.txt 两个文件
RedisScheduler	使用 Redis 保存抓取队列，可进行多台机器同时合作抓取	需要安装并启动 redis

在 0.5.1 版本里，我对 Scheduler 的内部实现进行了重构，去重部分被单独抽象成了一个接口： DuplicateRemover ，从而可以为同一个 Scheduler 选择不同的去重方式，以适应不同的需要，目前提供了两种去重方式。

类	说明
HashSetDuplicateRemover	使用 HashSet 来进行去重，占用内存较大
BloomFilterDuplicateRemover	使用 BloomFilter 来进行去重，占用内存较小，但是可能漏抓页面

所有默认的 Scheduler 都使用 HashSetDuplicateRemover 来进行去重，（除开 RedisScheduler 是使用 Redis 的 set 进行去重）。如果你的 URL 较多，使用 HashSetDuplicateRemover 会比较占用内存，所以也可以尝试以下 BloomFilterDuplicateRemover¹ ，使用方式：

spider.setScheduler(new QueueScheduler()
.setDuplicateRemover(new BloomFilterDuplicateRemover(10000000)) //10000000 是估计的页面数量
)

¹. 0.6.0 版本后，如果使用 BloomFilterDuplicateRemover，需要单独引入 Guava 依赖包。 ↩