如何处理来自 urllib.request.urlopen() 的响应编码，以避免 TypeError: can't use a string pattern on a bytes-like object

Question

我尝试使用 urllib.request.urlopen() 打开网页，然后使用正则表达式搜索它，但这会出现以下错误：

类型错误：无法在类似字节的对象上使用字符串模式

我明白为什么，urllib.request.urlopen()返回一个字节流，所以re不知道要使用的编码。在这种情况下我该怎么办？有没有办法在 urlrequest 中指定编码方法，或者我需要自己重新编码字符串？如果是这样，我想做什么，我假设我应该从标头信息或编码类型（如果在 html 中指定）读取编码，然后将其重新编码为该编码？

Answer 1

对于我来说，解决方案如下（python3）：

resource = urllib.request.urlopen(an_url)
content =  resource.read().decode(resource.headers.get_content_charset())

Answer 2

您只需要使用 Content-Type 标头（通常是最后一个值）来解码响应。 教程中也给出了一个示例。

output = response.decode('utf-8')

Answer 3

最近两天我也遇到了同样的问题。我终于有解决办法了。
我正在使用 urlopen() 返回的对象的 info() 方法：

req=urllib.request.urlopen(URL)
charset=req.info().get_content_charset()
content=req.read().decode(charset)

Answer 4

这是一个简单的 http 请求示例（我测试过并且有效）...

address = "http://stackoverflow.com"    
urllib.request.urlopen(address).read().decode('utf-8')

请务必阅读文档。

https://docs.python.org/3/library/urllib。 request.html

如果你想做一些更详细的GET/POST REQUEST。

import urllib.request
# HTTP REQUEST of some address
def REQUEST(address):
    req = urllib.request.Request(address)
    req.add_header('User-Agent', 'NAME (Linux/MacOS; FROM, USA)')
    response = urllib.request.urlopen(req)
    html = response.read().decode('utf-8')  # make sure its all text not binary
    print("REQUEST (ONLINE): " + address)
    return html

Answer 5

对于请求：

import requests

response = requests.get(URL).text

Answer 6

urllib.urlopen(url).headers.getheader('Content-Type')

将输出如下内容：

text/html;字符集=utf-8

Answer 7

发出请求后 req = urllib.request.urlopen(...) 您必须通过调用 html_string = req.read() 来读取请求，这将为您提供然后您可以按照您想要的方式解析字符串响应。