如何修复 Python 中的 unicode/cPickle 错误？

Question

ids = cPickle.loads(gem.value)

loads() argument 1 must be string, not unicode

Answer 1

cPickle.loads 想要一个字节字符串（这正是 cPickle.dumps 输出的内容），而您却向它提供了一个 unicode 字符串。您需要“编码”该 Unicode 字符串才能取回 dumps 最初给您的字节字符串，但很难猜测您不小心对其强加了什么编码 - 也许是 latin -1 或 utf-8 （如果 ascii 不担心，这两个中的任何一个都可以很好地解码它），也许 utf-16...？如果不知道 gem 是什么以及您最初如何从 cPickle.dumps 的输出设置其值，就很难猜测...！

Answer 2

cPickle.dumps() 的结果是一个 str 对象，而不是 unicode 对象。您需要在代码中找到解码 pickled str 对象的步骤，并忽略该步骤。

不要尝试将 unicode 对象转换为 str 对象。两个错误并不能构成一个正确。示例（Python 2.6）：

>>> import cPickle
>>> ps = cPickle.dumps([1,2,3], -1)
>>> ps
'\x80\x02]q\x01(K\x01K\x02K\x03e.'
>>> ups = ps.decode('latin1')
>>> str(ups)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character u'\x80' in position 0: ordinal not in range(128)
>>>

您很可能正在使用默认（且效率低下）的协议 0，它会产生“人类可读”的输出：

>>> ps = cPickle.dumps([1,2,3])
>>> ps
'(lp1\nI1\naI2\naI3\na.'
>>>

大概是 ASCII（但没有记录如此），因此 str(gem.value) 拼凑很可能“”“工作”“”：

>>> ps == str(unicode(ps))
True
>>>

Answer 3

您可以通过将 gem.value 设置为字符串而不是 unicode 来修复此问题。

使用str(gem.value)