使用 Python 通过 HTTP 下载压缩内容

Question

使用 Python 下载网页时如何利用 HTTP 1.1 的压缩功能？

我目前正在使用内置的 urllib 模块下载网页内容。通读文档，我找不到任何确实使用压缩的信息。

它是否已内置到 urllib 中，或者是否还有其他我可以使用的库？

Answer 1

httplib2 支持“deflate”和“gzip”压缩。

示例

import httplib2
h = httplib2.Http(".cache")
resp, content = h.request("http://example.org/", "GET")

根据需要对内容进行解压缩。