如何在Python中使用urllib2使用urlopen关闭超时的http POST？

Question

概述

我正在使用 Python 2.7.1 urllib2 包中的 urlopen 从 Windows XP 计算机到远程 Apache Web 服务器（例如 Mac OS X 的内置 Web 共享）执行 HTTP POST。发送的数据包含一些标识符、数据和校验和，如果发送了所有数据，服务器会以确认进行响应。数据中的校验和可用于检查所有内容是否按正确顺序到达。

问题

通常这工作得很好，但有时互联网连接很差，通常是因为发送数据的客户端使用 WiFi 或 3G 连接。这会导致互联网连接在任意时间内丢失。 urlopen 包含一个超时选项，以确保这不会阻止您的程序并且它可以继续。

这就是我想要的，但问题是 urlopen 不会阻止套接字继续发送超时发生时仍必须发送的任何数据。我已经通过尝试向我的笔记本电脑发送大量数据来对此进行了测试（使用下面将显示的代码），我会在两个显示活动上看到网络活动，然后我会停止笔记本电脑上的无线，等待直到函数超时，然后重新激活无线，数据传输将继续，但程序将不再监听响应。我什至尝试退出Python解释器，它仍然会发送数据，因此控制权以某种方式移交给了Windows。

原因

超时（据我理解）的工作原理如下： 它检查“空闲响应时间”
( [Python-Dev] 向 urllib2 添加套接字超时 )
如果将超时设置为3，它将打开连接，启动计数器，然后尝试发送数据并等待响应，如果在接收响应之前的任何时刻计时器用完，则会调用超时异常。请注意，就超时计时器而言，数据的发送似乎不算作“活动”。
( urllib2 超时但不关闭套接字连接 )
( 关闭 urllib2 连接 )

显然，某处指出，当套接字关闭/取消引用/垃圾收集时，它会被收集调用其“close”函数，该函数在关闭套接字之前等待所有数据发送。然而，还有一个关闭函数，它应该立即停止套接字，防止发送更多数据。
( socket.shutdown 与 socket.close )
( http://docs.python.org/library/socket.html #socket.socket.close ）

我想要什么

我希望连接在发生超时时“关闭”。否则我的客户端将无法判断数据是否已正确接收，并且可能会尝试再次发送。我宁愿终止连接并稍后重试，因为我知道数据（可能）未成功发送（如果校验和不匹配，服务器可以识别这一点）。

这是我用来测试这个的代码的一部分。 try.. except 部分尚未按我的预期工作，也感谢那里的任何帮助。正如我之前所说，我希望程序在引发超时（或任何其他）异常时立即关闭套接字。

from urllib import urlencode
from urllib2 import urlopen, HTTPError, URLError
import socket
import sys

class Uploader:
    def __init__(self):
        self.URL = "http://.../"
        self.data = urlencode({'fakerange':range(0,2000000,1)})
        print "Data Generated"

    def upload(self):
        try:
            f = urlopen(self.URL, self.data, timeout=10)
            returncode = f.read()
        except (URLError, HTTPError), msg:
            returncode = str(msg)
        except socket.error:
            returncode = "Socket Timeout!"
        else:
            returncode = 'Im here'

def main():
    upobj = Uploader()
    returncode = upobj.upload()

    if returncode == '100':
        print "Success!"
    else:
        print "Maybe a Fail"
        print returncode
    print "The End"

if __name__ == '__main__':
main()

Answer 1

我发现一些代码可能会帮助您在此线程：

from urllib2 import urlopen
from threading import Timer
url = "http://www.python.org"
def handler(fh):
    fh.close()
    fh = urlopen(url)
    t = Timer(20.0, handler,[fh])
    t.start()
    data = fh.read()
    t.cancel()

Answer 2

您可能会考虑使用与 urllib2 不同的 API。 httplib 有点不太令人愉快，但通常也不算太糟糕。但是，它确实使您可以访问底层套接字对象。所以，你可以这样做：（

import httplib
import socket

def upload(host, path, data):
    conn = httplib.HTTPConnection(host, 80, True, 3)
    try:
        conn.request('POST', path, data)
        response = conn.getresponse()
        if response.status != 200:
            # maybe an HTTP error                                                                                    
            return response.status
        else:
            response_data = r.read()
            return response_data
    except socket.error:
        return "Socket Timeout!"
    finally:
        conn.sock.shutdown()
        conn.close()

def main():
    data = urlencode({'fakerange':range(0,2000000,1)})
    returncode = upload("www.server.com", "/path/to/endpoint", data)

    ...

免责声明：未经测试）

与 urllib2 相比，httplib 确实有各种限制 - 例如，它不会自动处理重定向之类的事情。但是，如果您使用它来访问相对固定的 API，而不是从互联网上随机下载内容，那么它应该可以很好地完成工作。

老实说，我自己可能不会费心去做这件事；我通常满足于让操作系统按照它想要的方式处理 TCP 缓冲区，即使它的方法并不总是完全最佳的......

Answer 3

您可以使用 multiprocessing 生成辅助线程，然后在检测到超时时将其关闭（URLError 异常，消息“urlopen error timed out”）。

停止进程应该足以关闭套接字。

Answer 4

如果调用 socket.shutdown 确实是在超时时切断数据的唯一方法，我认为您需要诉诸某种猴子修补。 urllib2 并没有真正为您提供这种细粒度套接字控制的机会。

查看Python 和 urllib2 的源接口以获得一个好的方法。

Answer 5

事实证明，在正在上传的 HTTPConnection 上调用 .sock.shutdown(socket.SHUT_RDWR) 和 .close() 命令不会停止上传。它将继续在后台运行。在使用 urllib2 或 httplib 时，我不知道有更可靠/直接的方法来终止来自 Python 的连接。
最后我们测试了使用urllib2上传没有超时。这意味着在连接速度较慢的情况下，上传（POST）可能需要很长时间，但至少我们会知道它是否有效。由于没有超时，urlopen 可能会挂起，但我们已经测试了各种连接不良的可能性，并且在所有情况下 urlopen 要么工作，要么在一段时间后返回错误。
这意味着我们至少会在客户端知道上传成功或失败，并且不会在后台继续。