python3.x如何使用代理IP

发布于 2022-09-06 15:12:19 字数 757 浏览 29 评论 0

我调用我抓取的代理IP和请求头进行爬虫,但是总是反馈失败,我检查了IP,发现也没问题,到底如何正确使用
getRandomProxy()是调用随机选择一个代理ip

    def getRseponseContent(self,url):
        fakeHeaders = {'User-Agent': self.getRandomHeaders()}
        request = urllib.request.Request(url.encode('utf8'),headers = fakeHeaders)
        proxy = urllib.request.ProxyHandler({'http':'http://'  + self.getRandomProxy()})
        opener = urllib.request.build_opener(proxy)
        urllib.request.install_opener(opener)
        try:
            response = urllib.request.urlopen(request)
            time.sleep(1)
        except:
            self.log.error(u'Python 返回URL:%s 数据失败'%url)
        else:
            self.log.info(u'Python 返回URL:%s 数据成功'%url)
            return response.read()

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

缪败 2022-09-13 15:12:19

当你使用一个IP代理的时候请测试当前IP是否能够正常访问
检查 r.status_code 是否等于20X 如果是那么说明这个IP代理是能够正常使用的

import requests

r = requests.get(url=url,proxies=proxies)
r.status_code 
~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文