Question

本章讲解了一个简单的分布式爬虫结构，主要目的是帮助大家对Python爬虫基础篇的知识进行总结和强化，开拓思维，同时也让大家知道分布式爬虫并不是高不可攀。不过当你亲手打造一个分布式爬虫后，就会知道分布式爬虫的难点在于节点的调度，什么样的结构能让各个节点稳定高效地运作才是分布式爬虫要考虑的核心内容。到本章为止，Python爬虫基础篇已经结束，这个时候大家基本上可以编写简单的爬虫，爬取一些静态网站的内容，但是Python爬虫开发不仅如此，大家接着往下学习吧。