Question

本章中，我们了解到缓存已下载的网页可以节省时间，并能最小化重新爬取网站所耗费的带宽。缓存的主要缺点是会占用磁盘空间，不过我们可以使用压缩的方式减少空间占用。此外，在类似MongoDB等现有数据库的基础之上创建缓存，可以避免文件系统的各种限制。

下一章，我们会为爬虫添加并发下载多个网页的功能，从而使爬虫运行得更快。