解码函数尝试对 Python 进行编码

Question

我正在尝试打印一个 unicode 字符串，其中不包含特定的编码十六进制。我从 facebook 获取此数据，该数据的 html 标头中的编码类型为 UTF-8。当我打印类型时 - 它说它是 unicode，但是当我尝试使用 unicode-escape 对其进行解码时，它说存在编码错误。为什么当我使用解码方法时它会尝试编码？

代码

a='really long string of unicode html text that i wont reprint'
print type(a)
 >>> <type 'unicode'>   
print a.decode('unicode-escape')
 >>> Traceback (most recent call last):
  File "scfbp.py", line 203, in myFunctionPage
    print a.decode('unicode-escape')
UnicodeEncodeError: 'ascii' codec can't encode character u'\u20ac' in position 1945: ordinal not in range(128)

Answer 1

这不是解码失败。这是因为您正在尝试将结果显示到控制台。当您使用 print 时，它会使用默认编码 ASCII 对字符串进行编码。不要使用打印，它应该可以工作。

>>> a=u'really long string containing \\u20ac and some other text'
>>> type(a)
<type 'unicode'>
>>> a.decode('unicode-escape')
u'really long string containing \u20ac and some other text'
>>> print a.decode('unicode-escape')
Traceback (most recent call last):
  File "<stdin>", line 1, in 
UnicodeEncodeError: 'ascii' codec can't encode character u'\u20ac' in position 30: ordinal not in range(128)

我建议使用 IDLE 或其他可以输出 unicode 的解释器，这样你就不会遇到这个问题。

---

更新：请注意，这与少一个反斜杠的情况不同，后者在解码过程中失败，但具有相同的错误消息：

>>> a=u'really long string containing \u20ac and some other text'
>>> type(a)
<type 'unicode'>
>>> a.decode('unicode-escape')
Traceback (most recent call last):
  File "<stdin>", line 1, in 
UnicodeEncodeError: 'ascii' codec can't encode character u'\u20ac' in position 30: ordinal not in range(128)

Answer 2

当您打印到控制台时，Python 尝试将字符串编码（转换）为终端的字符集。如果这不是 UTF-8，或者没有映射字符串中的所有字符，它会抱怨并抛出异常。

当我快速处理数据（例如其中包含土耳其字符）时，这会时不时地困扰我。

如果您通过 Windows 命令提示符运行 python.exe，您可以在此处找到一些解决方案： cmd.exe 使用什么编码/代码页。基本上你可以使用chcp更改代码页，但它非常麻烦。我会遵循Mark的建议并使用IDLE之类的东西。

Answer 3

>>> print type(a)
<type 'unicode'>
>>> a.decode('unicode-escape')

为什么当我使用decode方法时它却试图编码？

因为您将解码为 Unicode，并从编码。您刚刚尝试将 unicode 字符串解码为 un​​icode。然后它做的第一件事就是尝试使用 ascii 编解码器将其转换为字符串。这就是为什么你会得到：

UnicodeEncodeError: 'ascii' codec can't encode character u'\u2110' in position 3: ordinal not in range(128)

记住：Unicode 不是一种编码。其他的都是，比如 ascii、utf8、latin-1 等。

顺便说一句，这种隐式编码在 Python 3 中消失了，因为它让人们感到困惑。