Question

大家可能都有过给浏览器设置HTTP代理的经验，HTTP代理服务器可以比作客户端与Web服务器（网站）之间的一个信息中转站，客户端发送的HTTP请求和Web服务器返回的HTTP响应通过代理服务器转发给对方，如图13-1所示。

图13-1

爬虫程序在爬取某些网站时也需要使用代理，例如：

由于网络环境因素，直接爬取速度太慢，使用代理提高爬取速度。

某些网站对用户的访问速度进行限制，爬取过快会被封禁ip，使用代理防止被封禁。

由于地方法律或政治原因，某些网站无法直接访问，使用代理绕过访问限制。

这一章我们来学习Scrapy爬虫如何使用代理进行爬取。