提高python+selenium+phantomjs的速度

发布于 2022-09-06 06:06:53 字数 189 浏览 15 评论 0

我需要给APP写一个爬取银行网站信息的脚本,银行的页面是多个iframe嵌套的,不能直接获取到HTML,所以我就用了selenium+phantomjs。
已经能成功获取网站的信息了,就是运行速度有点慢,初始化一个web driver就用去了2-3S,请问如何能够提高速度。以及如果有别的方案可以实现这个功能而不必使用selenium也可以说一下,谢谢大家。

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

风吹短裙飘 2022-09-13 06:06:53

这个初始化基本很难提升,毕竟他需要启动的是一个浏览器,不过还是可以减少css,图片加载来提升些速度,当然了,这相对于启动速度还是优化的很少的。

iframe也是基于http请求的,如果你可以分析出来接口,那么直接发请求就可以了。

这个俗人 2022-09-13 06:06:53

自己收藏的几篇博客,希望对你有帮助:
https://thief.one/2017/03/01/...
http://www.jianshu.com/p/9d40...

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文