Question

分布式是大数据时代比较流行的一个词，比如分布式计算、分布式存储，当然还有分布式爬虫。分布式爬虫，从字面意义上讲是集群爬虫，就是将爬取任务分配给多台机器同时处理，而与之相对应的是单机爬虫，单点部署，单点操作。分布式爬虫相当于将多个单机联系起来形成一个整体来完成工作，有一种“众人拾柴火焰高”的感觉，目的是提高可用性、稳定性和性能，毕竟单机有CPU、IO和带宽等多重限制。

打造分布式爬虫的关键是调度，因为需要将单机关联起来，现在采用的方式是消息队列。前几章讲到的Scrapy框架是基于单机的，但是通过重写调度器的形式可以将Scrapy改造成分布式爬虫，其中用到了Redis作为消息队列。本章的主要内容是如何使用Scrapy打造分布式爬虫。