让 JSON 对象接受字节或让 urlopen 输出字符串

Question

使用 Python 3，我从 URL 请求 json 文档。

response = urllib.request.urlopen(request)

response 对象是一个类似文件的对象，具有 read 和 readline 方法。通常，可以使用以文本模式打开的文件来创建 JSON 对象。

obj = json.load(fp)

我想做的是：

obj = json.load(response)

但这不起作用，因为 urlopen 以二进制模式返回文件对象。

当然，解决方法是：

str_response = response.read().decode('utf-8')
obj = json.loads(str_response)

但这感觉很糟糕......

有没有更好的方法可以将字节文件对象转换为字符串文件对象？或者我是否缺少 urlopen 或 json.load 的任何参数来提供编码？

Answer 1

Python 出色的标准库可以拯救您……

import codecs

reader = codecs.getreader("utf-8")
obj = json.load(reader(response))

适用于 py2 和 py3。

文档：Python 2、Python3

Answer 2

HTTP 发送字节。如果相关资源是文本，则通常通过 Content-Type HTTP 标头或其他机制（RFC、HTML meta http-equiv...）指定字符编码。

urllib 应该知道如何将字节编码为字符串，但它太天真了——它是一个功能严重不足且非Pythonic的库。

深入了解 Python 3 提供了概述关于情况。

你的“解决方法”很好——虽然感觉不对，但这是正确的方法。

Answer 3

我认为这个问题是最好的答案:)

import json
from urllib.request import urlopen

response = urlopen("site.com/api/foo/bar").read().decode('utf8')
obj = json.loads(response)

Answer 4

对于尝试使用 requests 库解决此问题的其他人：

import json
import requests

r = requests.get('http://localhost/index.json')
r.raise_for_status()
# works for Python2 and Python3
json.loads(r.content.decode('utf-8'))

Answer 5

这个对我有用，我使用了 'request' 库和 json() 查看 对人类的请求

import requests

url = 'here goes your url'

obj = requests.get(url).json() 

Answer 6

我使用 Python 3.4.3 & 遇到了类似的问题。 3.5.2 和 Django 1.11.3。然而，当我升级到 Python 3.6.1 时，问题就消失了。

您可以在这里阅读更多相关信息：
https://docs.python.org/3/whatsnew/3.6.html#json

如果您不依赖特定版本的 Python，只需考虑升级到 3.6 或更高版本。

Answer 7

从 Python 3.6 开始，您可以使用 json.loads()< /code>直接反序列化bytes对象（编码必须是UTF-8、UTF-16或UTF-32）。因此，仅使用标准库中的模块，您可以执行以下操作：

import json
from urllib import request

response = request.urlopen(url).read()
data = json.loads(response)

Answer 8

如果您在使用 Flask 微框架时遇到此问题，那么您可以执行以下操作：

data = json.loads(response.get_data(as_text=True))

来自文档：“如果as_text 设置为 True 返回值将是解码后的 unicode 字符串”

Answer 9

这会将字节数据流式传输到 json 中。

import io

obj = json.load(io.TextIOWrapper(response))

io.TextIOWrapper 优先于 codecs 模块阅读器。 https://www.python.org/dev/peps/pep-0400/< /a>

Answer 10

你的解决方法实际上救了我。我在使用 Falcon 框架处理请求时遇到了很多问题。这对我有用。 req 是请求形式curl pr httpie

json.loads(req.stream.read().decode('utf-8'))

Answer 11

刚刚发现这个简单的方法将 HttpResponse 内容作为 json 返回：

import json

request = RequestFactory() # ignore this, this just like your request object

response = MyView.as_view()(request) # got response as HttpResponse object

response.render() # call this so we could call response.content after

json_response = json.loads(response.content.decode('utf-8'))

print(json_response) # {"your_json_key": "your json value"}

希望对您有帮助。

Answer 12

我使用下面的程序来使用 json.loads()

import urllib.request
import json
endpoint = 'https://maps.googleapis.com/maps/api/directions/json?'
api_key = 'AIzaSyABbKiwfzv9vLBR_kCuhO7w13Kseu68lr0'
origin = input('where are you ?').replace(' ','+')
destination = input('where do u want to go').replace(' ','+')
nav_request = 'origin={}&destination={}&key={}'.format(origin,destination,api_key)
request = endpoint + nav_request
response = urllib.request.urlopen(request).read().decode('utf-8')
directions = json.loads(response)
print(directions)