在python中设置http响应读取方法的超时

Question

我正在用 python 构建一个下载管理器来娱乐，有时与服务器的连接仍然存在，但服务器不向我发送数据，因此（HTTPResponse 的）读取方法永远阻止我。例如，当我从位于我国境外的服务器下载时，就会发生这种情况，这会限制其他国家/地区的带宽。

如何设置read方法的超时时间（例如2分钟）？

谢谢，尼尔。

Answer 1

如果您陷入某些 Python 版本 < 执行此操作

import socket
socket.setdefaulttimeout(10.0)  # or whatever

2.6，一种（不完美但可用）方法是在开始使用 httplib 之前 。文档位于此处，并明确指出 < code>setdefaulttimeout 自 Python 2.3 起可用——从您执行此调用到您再次调用同一函数时创建的每个套接字都将使用 10 秒的超时。您可以在设置新超时之前使用 getdefaulttimeout ，如果您想保存之前的超时（包括无超时）以便以后可以恢复它（使用另一个 setdefaulttimeout）。

当你需要使用一些旧的高级库时，这些函数和习惯用法非常有用，这些库使用Python套接字，但没有给你一个设置超时的好方法（当然最好使用更新的）更高级别的库，例如 2.6 附带的 httplib 版本或本例中的第三方 httplib2，但这并不总是可行，并且使用默认超时设置可能是一个很好的解决方法）。

Answer 2

您必须在 HTTPConnection 初始化期间设置它。

注意：如果您使用的是较旧版本的 Python，则可以安装 httplib2；许多人认为它是 httplib 的更好替代品，并且它确实支持 超时。
不过，我从未使用过它，我只是报告文档和博客的内容。

Answer 3

如果下载很大，设置默认超时可能会提前中止下载，而不是仅在停止接收超时值的数据时中止。 HTTPlib2 可能是正确的选择。

Answer 4

5年后，但希望这能对其他人有所帮助……

我绞尽脑汁试图弄清楚这一点。我的问题是服务器返回损坏的内容，因此返回的数据比它想象的要少。

我想出了一个令人讨厌的解决方案，但似乎工作正常。这里是这样的：

# NOTE I directly disabling blocking is not necessary but it represents
# an important piece to the problem so I am leaving it here.
# http_response.fp._sock.socket.setblocking(0)
http_response.fp._sock.settimeout(read_timeout)
http_response.read(chunk_size)

注意 这个解决方案也适用于python requests ANY 实现普通 python 套接字的库（应该是全部？ ）。你只需要更深入一些：

resp.raw._fp.fp._sock.socket.setblocking()
resp.raw._fp.fp._sock.settimeout(read_timeout)
resp.raw.read(chunk_size)

在撰写本文时，我还没有尝试过以下方法，但理论上它应该有效：

resp = requests.get(some_url, stream=True)
resp.raw._fp.fp._sock.socket.setblocking()
resp.raw._fp.fp._sock.settimeout(read_timeout)
for chunk in resp.iter_content(chunk_size):
      # do stuff

解释

我在阅读 在socket.recv上设置超时

归根结底，任何http请求都有一个套接字。对于 httplib，该套接字位于 resp.raw._fp.fp._sock.socket。 resp.raw._fp.fp._sock 是一个 socket._fileobj （老实说我没有深入研究），我想它是 settimeout code> 方法在内部将其设置在 socket 属性上。