pyspider中同时开多个project, 爬取速度为何没有明显提高?
project是这样的,从mongodb数据库里获取要抓取的链接,
在每个project的代码里,从数据库提取url时,设置了相应措施,保证各project不会爬取重复的url,每个project的rate/burst都设成了20/60
然后我发现,只开一个project时,每小时大概能爬2000条数据,而我同时开两个project的话,每小时的数据两个project加起来仍旧是2000条左右,这是为什么?
是pyspider有什么地方没有设置好吗?
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(3)
看 dashboard 队列状态,根据瓶颈增加相应组件
有没有可能同时从数据库中读取数据时阻塞了?
效率上不去可能性很多。带宽、入库速度、数据源查询性能都有可能是瓶颈。