node爬虫限制采集速度？
request、cheerio
node的爬虫如何设定采集速度？
由于目标站点打开速度比较慢，加载数据相对较长的时间，所以总有一些页面还没加载完，就被忽略掉了。
要怎么限制node爬虫的并发量和采集速度之类的。
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
request、cheerio
node的爬虫如何设定采集速度？
由于目标站点打开速度比较慢，加载数据相对较长的时间，所以总有一些页面还没加载完，就被忽略掉了。
要怎么限制node爬虫的并发量和采集速度之类的。
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
接受 或继续使用网站，即表示您同意使用 Cookies 和您的相关数据。
发布评论
评论（1）
使用队列的方式就可以。
如果是分布式抓取，建议使用专业的消息队列组件。
如果是单机简单的抓取，网上也有一些开源的单机消息队列。
使用消息队列，就可以轻易的控制并发和抓取间隔。
比如我设定每次同时消费10个队列，就可以控制并发为10.
如果是想要1分钟内抓取10个网页，也可以通过一些限流算法去实现（网上有很多教程）
总之，你把他写成消息队列的形式，一切都简单起来了。