pyspider设置了隧道代理,在调试时生效,实际爬取时不生效

发布于 2022-09-13 01:28:22 字数 583 浏览 30 评论 0

image.png
如图我配置配置了快代理的隧道代理。在调试时代理能够正常工作。
但是在爬虫run起来之后,代理却没有生效。
我判断代理没有生效的原因是:
1.快代理网站对我购买的隧道代理的监控中,代理使用次数没有增加image.png
图中零星的代理使用,是在调试过程,尝试爬取页面时的代理正确生效。
2.在Active Tasks任务的详情内容中,fatch中,无代理的配置。

image.png

我尝试使用下述配置启动,同样无效

pyspider --phantomjs-proxy 用户名:密码@tps158.kdlapi.com:15818

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

口干舌燥 2022-09-20 01:28:22

试试把代理写到self.crawl()里

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文