使用 mechanize 和 Python 2.6 下载 HTML 的编码问题

Question

browser = mechanize.Browser()
page = browser.open(url)
html = page.get_data()

print html

它显示了一些奇怪的字符。我认为它是 UTF-8 字符串，但 Python 不知道这一点并且无法正确显示它。

如何将此字符串转换为 unicode 字符串，例如

u = u'test'

Answer 1

它被压缩了

def ungzipResponse(r,b):
    headers = r.info()
    if headers['Content-Encoding']=='gzip':
        import gzip
        gz = gzip.GzipFile(fileobj=r, mode='rb')
        html = gz.read()
        gz.close()
        headers["Content-type"] = "text/html; charset=utf-8"
        r.set_data( html )
        b.set_response(r)

response = browser.open(url)
ungzipResponse(response, browser)
html = response.read()

Answer 2

u = html.decode('utf-8')

Answer 3

你需要定义编码
喜欢：

#!/usr/bin/python
# -*- coding: iso-8859-15 -*-

机械化需要它。

欲了解更多信息，请查看此
http://www.python.org/dev/peps/pep-0263/