python+selenium+phantomjs中经常会出现phantomjs占cpu过高的情况,怎么办?
用途:爬虫(框架:scrapy)
cap = dict(DesiredCapabilities.PHANTOMJS)
cap["phantomjs.page.settings.resourceTimeout"] = 1000
cap["phantomjs.page.settings.loadImages"] = False
cap["phantomjs.page.settings.webSecurityEnabled"] = False
driver = webdriver.PhantomJS(executable_path='/usr/local/bin/phantomjs',desired_capabilities=cap)
driver.set_page_load_timeout(20)
driver.set_script_timeout(20)
try:
driver.get(request.url)
except Exception as e:
print e
finally:
driver.quit()
发现phantomjs经常quit不掉,以致cpu越来越高,pgrep phantomjs,phantomjs一大堆。
个人认为,driver.get(request.url),一旦遇到js的坑,就会死在这儿,从而phantomjs也就无法quit。
请问大家有无好办法?
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论