提高python+selenium+phantomjs的速度
我需要给APP写一个爬取银行网站信息的脚本,银行的页面是多个iframe嵌套的,不能直接获取到HTML,所以我就用了selenium+phantomjs。
已经能成功获取网站的信息了,就是运行速度有点慢,初始化一个web driver就用去了2-3S,请问如何能够提高速度。以及如果有别的方案可以实现这个功能而不必使用selenium也可以说一下,谢谢大家。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(2)
这个初始化基本很难提升,毕竟他需要启动的是一个浏览器,不过还是可以减少css,图片加载来提升些速度,当然了,这相对于启动速度还是优化的很少的。
iframe也是基于http请求的,如果你可以分析出来接口,那么直接发请求就可以了。
自己收藏的几篇博客,希望对你有帮助:
https://thief.one/2017/03/01/...
http://www.jianshu.com/p/9d40...