如果一个页面中有很多js,什么爬虫方案最优?
最近爬nature.com上面的内容,用的是scrapy+selenium+phantomjs.
但是详情页里面有大量的js,所以webdriver.get(url),
巨慢。。。
巨慢。。。
巨慢。。。
因此后续解析无从谈起。
想请教大家给小弟出出招。谢谢!
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论