如何确定pyspider瓶颈?
阿里云的服务器,带宽5m,双核.
运行有30+projects.一半以上会用到phantomjs加载.
无法正常运行.300个上限的fetcher&processor很快被塞满.
所有任务fetch时间在10000ms以上.
配置信息:
message_queue: redis:localhost:port
project&task&result db: mongodb
两个fetcher&processor
没有分布式.
猜测是带宽问题.但是如何才能确定问题出在哪儿?
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
如果我理解「300个上限的fetcher&processor很快被塞满」的意思是 fetcher 和 processor 之间的队列满了，的话。
瓶颈是下游那个组件，即 processor