nodejs爬虫如何停止?
使用nodejs的request模块和async模块做网页爬虫,爬完指定批量数据后爬虫并没有停止,如果加一个计数器,觉得很麻烦。请问这个要怎么处理比较好?先谢谢了!
http.get(url,function(res){
res.setEncoding('utf-8');
var html = '';
res.on('data',function(chunk){
html += chunk;
});
res.on('end',function(){
// console.log(html);return;
var $ = cheerio.load(html);
$('.type-item-list-left').find('a').each(function(){
var link = $(this).attr('href').trim();
urls.push(link);
});
async.each(urls,function(item,callback){
detail(item,keyword);
callback();
},function(err){
if(err){
console.log('err:' + err);
}
})
});
}).on('error',function(err){
console.log(err);
});
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
是不是写了什么死循环?