Python 2 与 Python 3 - urllib 格式

Question

我真的厌倦了试图弄清楚为什么这段代码在 Python 2 中工作而不是在 Python 3 中工作。我只是想抓取一页 json 然后解析它。这是 Python 2 中的代码：

import urllib, json
response = urllib.urlopen("http://reddit.com/.json")
content = response.read()
data = json.loads(content)

我认为 Python 3 中的等效代码将是这样的：

import urllib.request, json
response = urllib.request.urlopen("http://reddit.com/.json")
content = response.read()
data = json.loads(content)

但它在我面前爆炸了，因为 read() 返回的数据是“字节”类型。但是，我一生都无法将其转换为 json 能够解析的内容。我从标题中知道 reddit 正在尝试将 utf-8 发送回给我，但我似乎无法将字节解码为 utf-8：

import urllib.request, json
response = urllib.request.urlopen("http://reddit.com/.json")
content = response.read()
data = json.loads(content.decode("utf8"))

我做错了什么？

编辑：问题是我无法使数据进入可用状态；即使 json 加载了数据，但部分数据无法显示，我希望能够将数据打印到屏幕上。

第二次编辑：问题似乎更多地与打印有关，而不是与解析有关。 Alex的答案提供了一种让脚本在Python 3中工作的方法，通过将IO设置为utf8。但仍然存在一个问题：为什么代码可以在 Python 2 中运行，但不能在 Python 3 中运行？

Answer 1

您发布的代码可能是由于错误的剪切和粘贴操作造成的，因为它在两个版本中都明显错误（f.read() 失败，因为没有定义 f barename） 。

在 Py3 中，ur = response.decode('utf8') 非常适合我，下面的 json.loads(ur) 也是如此。也许错误的复制和粘贴影响了您的 2 到 3 次转换尝试。

Answer 2

根据你的 python 版本，你必须选择正确的库。

对于Python 3.5

import urllib.request
data = urllib.request.urlopen(url).read().decode('utf8')

对于Python 2.7

import urllib
url = serviceurl + urllib.urlencode({'sensor':'false', 'address': address})   
uh = urllib.urlopen(url)

Answer 3

请参阅另一个 Unicode 相关问题中的答案。

现在：Python 3 str（即 Python 2 unicode）类型是一个理想化的对象，从某种意义上说，它处理的是“字符”，而不是“字节”。这些字符，为了用于/来自磁盘/网络数据，需要通过“转换表”（又名编码又名代码页）编码为字节/解码为字节。由于操作系统的多样性，Python 历来避免猜测编码应该是什么；这些年来，这种情况一直在变化，但“面对歧义，拒绝猜测的诱惑”的原则仍然存在。适用。

值得庆幸的是，网络服务器使您的工作更加轻松。上面的响应应该为您提供所需的所有额外信息：

>>> response.headers['content-type']
'application/json; charset=UTF-8'

因此，每次向 Web 服务器发出请求时，请检查 Content-Type 标头中的字符集值，并将请求的数据解码为 Unicode ( Python 3：使用该字符集bytes.decode(charset) → str)。

Answer 4

这是一种跨两个版本兼容的方法 - 它的工作原理是首先将字节数据转换为字符串，然后加载该字符串。

import json
try:
    from urllib.request import Request, urlopen #python3+
except ImportError:
    from urllib2 import Request, urlopen        #python2

url = 'https://jsonfeed.org/feed.json'
request = Request(url)
response_json_string = urlopen(request).read().decode('utf8')
response_json_object = json.loads(response_json_string)