python+selenium+phantomjs中经常会出现phantomjs占cpu过高的情况,怎么办?

发布于 2022-09-06 00:06:22 字数 846 浏览 12 评论 0

用途:爬虫(框架:scrapy)

            cap = dict(DesiredCapabilities.PHANTOMJS)
            cap["phantomjs.page.settings.resourceTimeout"] = 1000
            cap["phantomjs.page.settings.loadImages"] = False
            cap["phantomjs.page.settings.webSecurityEnabled"] = False
            driver = webdriver.PhantomJS(executable_path='/usr/local/bin/phantomjs',desired_capabilities=cap)
            driver.set_page_load_timeout(20)
            driver.set_script_timeout(20)
            
            try:
               driver.get(request.url)

            except Exception as e:
               print e
            finally:
               driver.quit()
               
发现phantomjs经常quit不掉,以致cpu越来越高,pgrep phantomjs,phantomjs一大堆。
个人认为,driver.get(request.url),一旦遇到js的坑,就会死在这儿,从而phantomjs也就无法quit。
请问大家有无好办法?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文