如何在许多网站中搜索时如何获取所有唯一错误

Question

我使用请求模块浏览了很多网站，我想看看该站点是否损坏/存在/是否可以访问它。我正在使用尝试/除功能，并且可以看到我遇到的错误。

我的问题：我有很多网站要浏览，并且不知道会发生什么错误。我可能已经看过所有这些，但我不知道。

以下是发生错误的一些示例：

Err: HTTPSConnectionPool(host='the_site', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLEOFError(8, 'EOF occurred in violation of protocol (_ssl.c:1129)')))
<class 'requests.exceptions.SSLError'>

Err: HTTPSConnectionPool(host='the_site', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLError(1, '[SSL: TLSV1_UNRECOGNIZED_NAME] tlsv1 unrecognized name (_ssl.c:1129)')))
<class 'requests.exceptions.SSLError'>

Err: HTTPSConnectionPool(host='the_site', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLError(1, '[SSL: SSLV3_ALERT_HANDSHAKE_FAILURE] sslv3 alert handshake failure (_ssl.c:1129)')))
<class 'requests.exceptions.SSLError'>

Err: HTTPSConnectionPool(host='the_site', port=443): Max retries exceeded with url: / (Caused by ConnectTimeoutError(<urllib3.connection.HTTPSConnection object at 0x000001D58BAB4850>, 'Connection to the_site timed out. (connect timeout=10)'))
<class 'requests.exceptions.ConnectTimeout'>

Err: HTTPSConnectionPool(host='the_site', port=443): Max retries exceeded with url: / (Caused by NewConnectionError('<urllib3.connection.HTTPSConnection object at 0x000001D58BAB48B0>: Failed to establish a new connection: [Errno 11001] getaddrinfo failed'))
<class 'requests.exceptions.ConnectionError'>

Err: ('Connection aborted.'the_site', ConnectionResetError(10054, 'An existing connection was forcibly closed by the remote host', None, 10054, None))
<class 'requests.exceptions.ConnectionError'>

Err: HTTPSConnectionPool(host='the_site', port=443): Max retries exceeded with url: / (Caused by NewConnectionError('<urllib3.connection.HTTPSConnection object at 0x000001D58BB44C40>: Failed to establish a new connection: [WinError 10061] No connection could be made because the target machine actively refused it'))
<class 'requests.exceptions.ConnectionError'>

296 nan: is Not reachable 
Err: Invalid URL 'nan': No schema supplied. Perhaps you meant http://nan?

354 : is Not reachable, status_code: 404

您可以看到它们都略有不同（甚至忽略了对象ID和主机），

我尝试过：

try:
        #Get Url
        get = requests.get(url, allow_redirects=True, timeout=1,verify=True,headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36"})
        # if the request succeeds
        if get.status_code == 200:
            print(f"{count} {url}: is reachable. status_code: {get.status_code}")
        else:
            print(f"{count} {url}: is Not reachable, status_code: {get.status_code}")
    #Exception
except requests.exceptions.RequestException as e:
        print(e.errno)
        print(f"{url}: is Not reachable \nErr: {e}")

但是E.Errno只是返回一个无值。我不确定它是如何工作的，但我希望它能返回与该特定错误相关的唯一数字，但我想我错了。

我还从请求模块中使用了所有其他E.的e。

为了澄清，我不是在谈论Sslerror或Connectionerror等课程。

TLDR：如何获得我遇到的所有唯一错误的列表，以便我可以搜索如何在线预防这些错误。

Answer 1

收到您收到的错误列表

如果您只想在不停止代码的情况

try:
        #Get Url
        get = requests.get(url, allow_redirects=True, timeout=1,verify=True,headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36"})
        # if the request succeeds
        if get.status_code == 200:
            print(f"{count} {url}: is reachable. status_code: {get.status_code}")
        else:
            print(f"{count} {url}: is Not reachable, status_code: {get.status_code}")
    #Exception
except Exception as e:
        print(f"{url}: is Not reachable \nErr: {e}")

下 捕获所有和所有的错误都比发生的所有错误，因此请确保正确记录它们，以帮助您是否出现需求。

Answer 2

只是对此回答：

但是E.errno只是返回一个无值。我不确定它是如何工作的，但我希望它能返回与该特定错误相关的唯一数字，但我猜我错了。

不，那不是它的工作方式。

“ errno”是一个旧的UNIX错误约定，例如，请参见 https://pubs.opengroup.org/onlinepubs/9699919799/basedefs/errno.h.html 列出了他们的符号名称。如果您希望这些是“ OS”错误。

现在，如果您查看Python异常机制，它正是使用errno的“ oserror”例外，请参见 https://docs.python.org/3.8/library/exceptions.html ：

异常Oserror（Errno，strerror [，filename [，winerror [，filename2]]]）

因此，如果您愿意，Python异常是OS级别的超集，因此具有一些ernno值。因此，由库和您自己的代码定义的所有其他例外绝对不必依赖这一点，并且没有理由他们拥有errno属性。

（这很好：所有库和代码如何解决一个共享数字序列以编码自己的异常？我根本不会扩展）。