Question

本章学习了Scrapy爬虫如何使用代理进行爬取，首先介绍了两种设置代理的方法：

使用下载中间件HttpProxyMiddleware（自动）。

在构造Request对象时通过meta参数设置（手动）。

前者使用简单，只需通过环境变量配置即可；后者可在某些特殊场景下使用。我们以如何使用多个代理进行了举例，随后讲解了在网络上获取免费代理的方法，并利用获取的免费代理实现了一个随机代理中间件。最后，运用本章所学的知识完成一个实战项目，使用代理爬取了豆瓣网中的电影信息。