如果超时则跳过 URL

Question

我有一个 URL 列表，

我正在使用以下内容来检索其内容：

for url in url_list:
    req = urllib2.Request(url)
    resp = urllib2.urlopen(req, timeout=5)
    resp_page = resp.read()
    print resp_page

当超时时，程序就会崩溃。我只想读取下一个 URL（如果有 socket.timeout: timed out）。如何做到这一点？

谢谢

Answer 1

尽管已经有了答案，但我想指出 URLlib2 可能不是造成此行为的唯一原因。

正如此处所指出的（而且它似乎也基于问题描述），异常可能属于socket库。

在这种情况下，只需添加另一个 except：

import socket

try:
    resp = urllib2.urlopen(req, timeout=5)
except urllib2.URLError:
    print "Bad URL or timeout"
except socket.timeout:
    print "socket timeout"

Answer 2

我将继续假设“崩溃”是指“引发 URLError”，如 urllib2.urlopen 文档。请参阅 Python 教程的错误和异常部分。

for url in url_list:
    req = urllib2.Request(url)
    try:
        resp = urllib2.urlopen(req, timeout=5)
    except urllib2.URLError:
        print "Bad URL or timeout"
        continue # skips to the next iteration of the loop
    resp_page = resp.read()
    print resp_page

Answer 3

听起来你只需要捕获超时异常。我没有收到您收到的 socket.timeout 消息。

req = urllib2.Request("http://127.0.0.2")
try:
    resp = urllib2.urlopen(req, timeout=5)
except urllib2.URLError:
    print "Timeout!"

显然，您需要有一个实际上会超时的 URL（127.0.0.2 可能不在您的盒子上）。