使用Python检查代理

Question

我想检查代理是否使用过Python。为此，我的方法是使用请求：

import requests

proxies = []

for i in proxies:
    prox = {"prox": f"http://{i}"}
    r = requests.get("http://google.es", proxies=prox, timeout=5)

    latency = r.elapsed 
    latency = int(latency.total_seconds() * 1000)
    print(r.status_code) 

所以我对此解决方案感到满意，但是后来我发现使用不同的方法是不同的。使用此请求代码，我获得了status_code = 200和LETENCIES＆lt; 100个代理列表。但是，如果我使用基于pycurl的ProxyChecker：

from proxy_checker import ProxyChecker

for i in proxies:
    print(i)
    a = checker.check_proxy(i)
    print(a)

对于同一列表，只有10个中的3个工作。我的问题是：为什么会有这种差异？我的请求方法怎么了？还是为什么请求说它使用这些代理找到了Google？

编辑 请勿使用proxychecker版本0.6。它已经过时了，50％的时间不起作用。检查此版本 https://github.com/scolymus/scolymus/proxy-checker-checker-proxy-checker-python

Answer 1

正如我所知，其原因是：

代理检查器正在使用具有特定值（LEL）的自定义标头。默认情况下，请求不使用此标头。
这是代理检查代码：

def check_proxy(self, proxy):
    if not proxy:
        return None
    try:
        #if self.headers:
        #    curl.setopt(pycurl.HTTPHEADER, self.headers.items())
        curl.setopt(pycurl.PROXY, proxy)
        curl.setopt(pycurl.USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.13) Gecko/20080311 Firefox/2.0.0.13')
        curl.setopt(pycurl.URL, self.check_url)
        curl.perform()

        if curl.getinfo(pycurl.HTTP_CODE) == 200:
            return True
        else:
            return False
    except pycurl.error as e:
        return False

您可以通过将其添加到标题字典中来测试使用相同自定义标头的相同代理：

    ...
    headers = {'lel': 'lel'}
    r = requests.get("http://google.es", headers=headers, proxies=prox, timeout=5)
    ...