Question

本章继续实战项目，介绍如何打造分布式爬虫，这对初学者来说是一个不小的挑战，也是一次有意义的尝试。这次打造的分布式爬虫采用比较简单的主从模式，完全手工打造，不使用成熟框架，基本上涵盖了前六章的主要知识点，其中涉及的分布式知识点是分布式进程和进程间通信的内容，算是对Python爬虫基础篇的总结。

目前，大型的爬虫系统都采取分布式爬取结构，通过此次实战项目，大家会对分布式爬虫有一个比较清晰的了解，为之后系统地学习分布式爬虫打下基础。实战目标：爬取2000个百度百科网络爬虫词条以及相关词条的标题、摘要和链接等信息，采用分布式结构改写第6章的基础爬虫，使其功能更加强大。