文章来源于网络收集而来,版权归原创者所有,如有侵权请及时联系!
10.7 本章小结
在本章中,我们尝试通过给出几个有趣的案例,来突出Scrapy架构的优秀性能。具体细节可能会在未来版本的Scrapy中有所变更,不过本章提供的知识应当会在很长一段时间内保持有效,并且可能会帮助你处理基于Twisted、Netty Node.js或类似框架的任何高并发异步系统。
当谈到Scrapy的性能问题时,有3个有效的答案:我不知道也不介意;我不知道但我会找出来;我知道。正如我们在本章中多次论证的,天真地回答“我们需要更多的服务器/内存/带宽”更有可能与Scrapy的性能无关。人们需要真正理解瓶颈在什么地方,并且去提升它。
在最后一章中,我们将进一步专注提升性能,通过在多台服务器上分布式部署爬虫,达到超越单机的能力。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论