Phantomjs爬取百度百科使用代理proxy后爬取页面信息缺失,未能加载js。
1、问题描述
想要利用Phantomjs爬取百度百科,在不使用代理的情况下,能够爬取JS加载后的一些信息,比如收藏量等,但是,在使用了代理后,这些信息都没有加载,显示为0,以下是具体的代码,由于是刚刚入手爬虫,不知道错在哪里了,求大神指点?
2、代码
使用代理
if name == "__main__":
url = 'http://baike.baidu.com/link?url=LsKzFDa_VnsXY3jc5qnIEtAp8wFMuNr9pmAulJcUIIcO7PCT7U5OTj6DhZbvJE_hxag0Oy2_s4JXMrZlR0m6JyZTXVLb44_bQd1s5O1fWcy'
service_args = ['--proxy=http://proxy.com:xxxx','--proxy-auth=user:pass','--proxy-type=http']
browser = webdriver.PhantomJS(service_args=service_args)
browser.get(url)
page = browser.page_source
print page
若不使用代理
if name == "__main__":
url = 'http://baike.baidu.com/link?url=LsKzFDa_VnsXY3jc5qnIEtAp8wFMuNr9pmAulJcUIIcO7PCT7U5OTj6DhZbvJE_hxag0Oy2_s4JXMrZlR0m6JyZTXVLb44_bQd1s5O1fWcy'
browser = webdriver.PhantomJS()
browser.get(url)
page = browser.page_source
print page
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
或许是你的代理服务器问题,你尝试使用requests库测试下