文章来源于网络收集而来，版权归原创者所有，如有侵权请及时联系！
17.7 小结
本章的实战项目将分布式爬虫和MongoDB集群结合起来，同时对去重进行了优化，整体上来说这个实战项目有实际的工程意义。本项目的源码在GitHub上https://github.com/qiyeboy/spiderbook ，上面会及时更新本项目和整本书的源代码。到本章结束，关于Scrapy的框架的内容也基本上告一段落，希望大家有精力可以阅读Scrapy源码，学习其中的框架思想。
图17-4 存储效果
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论