解析从 URL 读取的 JSON 时出现问题

Question

我遇到了一个问题，我相信有一个简单的解决方案。

我正在编写一个 Python 脚本，它从 URL 读取 JSON 字符串并解析它。为此，我使用 urllib2 和 simplejson。

我遇到的问题与编码有关。我正在读取的 URL 没有明确说明它的编码方式（据我所知），并且它返回一些冰岛字符。我无法给出我从这里读取的 URL，但我已经在自己的服务器上设置了一个示例 JSON 数据文件，并且在读取该文件时也遇到了问题。 这是文件： http://haukurhaf.net/json.txt

这是我的代码：

# coding: utf-8
#!/usr/bin/env python
import urllib2, re, os
from BeautifulSoup import BeautifulSoup
import simplejson as json

user_agent = 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-GB; rv:1.9.0.3) Gecko/2008092417 Firefox/3.0.3'

def fetchPage(url):
    req = urllib2.Request(url)
    req.add_header('User-Agent', user_agent)
    response = urllib2.urlopen(req)
    html = response.read()
    response.close()
    return html

html = fetchPage("http://haukurhaf.net/json.txt")
jsonData = json.JSONDecoder().decode(html)

JSON解析器崩溃并显示以下错误消息： UnicodeDecodeError: 'utf8' codec can't Decode byte 0xe1 inposition 35: invalid continuation byte

由于我对保存 JSON 数据的服务器没有任何控制，因此我无法控制它发送出哪些编码标头。我希望我能以某种方式解决这个问题。

有什么想法吗？

Answer 1

该文件使用 Latin-1 而不是 UTF-8 进行编码，因此您必须指定编码：

jsonData = json.JSONDecoder('latin1').decode(html)

顺便说一句： html 对于 JSON 文档来说是一个坏名字...

Answer 2

http://haukurhaf.net/json.txt

此资源编码为 ISO-8859-1，或，更有可能的是 Windows 变体代码页 1252。它不是 UTF-8。

您可以使用 response.read().decode('cp1252') 读取它，以获取 [simple]json 也应该能够解析的 Unicode 字符串。

然而，在字节形式下，JSON 必须以 UTF 编码。因此，这不是有效的 JSON，如果您尝试从浏览器加载它也会失败。

Answer 3

您需要首先将字符串设置为 unicode（现在是 latin-1）：

uhtml = html.decode("latin-1")
jdata = json.loads(uhtml)

或者，如果 simplejson 没有 loads：

json.JSONDecoder().decode(uhtml)