pyspider设置了隧道代理,在调试时生效,实际爬取时不生效
如图我配置配置了快代理的隧道代理。在调试时代理能够正常工作。
但是在爬虫run起来之后,代理却没有生效。
我判断代理没有生效的原因是:
1.快代理网站对我购买的隧道代理的监控中,代理使用次数没有增加
图中零星的代理使用,是在调试过程,尝试爬取页面时的代理正确生效。
2.在Active Tasks
任务的详情内容中,fatch
中,无代理的配置。
我尝试使用下述配置启动,同样无效
pyspider --phantomjs-proxy 用户名:密码@tps158.kdlapi.com:15818
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
试试把代理写到self.crawl()里