蟒蛇 + PostgreSQL +奇怪的ascii = UTF8编码错误

Question

我有包含字符 "\x80" 的 ascii 字符串来表示欧元符号：

>>> print "\x80"
€

当将包含该字符的字符串数据插入我的数据库时，我得到：

psycopg2.DataError: invalid byte sequence for encoding "UTF8": 0x80
HINT:  This error can also happen if the byte sequence does not match the encodi
ng expected by the server, which is controlled by "client_encoding".

我是一个 unicode 新手。如何将包含 "\x80" 的字符串转换为包含相同欧元符号的有效 UTF-8？我尝试对各种字符串调用 .encode 和 .decode ，但遇到错误：

>>> "\x80".encode("utf-8")
Traceback (most recent call last):
  File "<pyshell#14>", line 1, in <module>
    "\x80".encode("utf-8")
UnicodeDecodeError: 'ascii' codec can't decode byte 0x80 in position 0: ordinal not in range(128)

Answer 1

这个问题始于一个错误的前提：

我有 ASCII 字符串，其中包含字符“\x80”来表示欧元符号。

ASCII 字符的范围为“\x00”到“\x7F”（含）。

先前接受的现已删除的答案在两个严重误解下运行（1）区域设置==编码（2）latin1编码将“\x80”映射到欧元字符。

事实上，所有 ISO-8859-x 编码都将“\x80”映射到 U+0080，它是 C1 控制字符之一，而不是欧元字符。这些编码中只有 3 个（(7, 15, 16) 中的 x）提供欧元字符，如“\xA4”。请参阅这篇维基百科文章。

您需要知道您的数据采用什么编码。它是在哪台机器上创建的？如何？它创建的语言环境（不一定是您的语言环境）可能会给您提供线索。

请注意，“我的数据是用 latin1 编码的”与“支票已在邮件中”和“当然，我早上会爱你”。您的数据可能采用 Windows 平台上的 cp125x 编码之一进行编码。请注意，除了 cp1251（Windows 西里尔文）之外，所有这些都将“\x80”映射到欧元字符：

>>> ['\x80'.decode('cp125' + str(x), 'replace') for x in range(9)]
[u'\u20ac', u'\u0402', u'\u20ac', u'\u20ac', u'\u20ac', u'\u20ac', u'\u20ac', u'\u20ac', u'\u20ac']

更新以响应OP的评论

我正在从文件中读取此数据，例如open(fname).read()。它包含带有 \x80 的字符串，表示欧元字符。它只是一个纯文本文件。它是由另一个程序生成的，但我不知道它是如何生成文本的。什么是一个好的解决方案？我想我可以假设它为欧元字符输出“\x80”，这意味着我可以假设它是用 cp125x 编码的，该 cp125x 将该字符作为欧元。

这有点令人困惑：首先你说

它包含带有 \x80 的字符串，表示欧元字符

但后来你说

我想我可以假设它为欧元字符输出“\x80”

请解释一下。

选择适当的 cp125x 编码：文件在哪里（地理位置）创建？文本是用什么语言写的？除假定的欧元以外的任何字符，其值 > “\x7f”？如果是的话，它们在哪些情况下使用？

更新2 如果您不“知道程序是如何编写的”，您和我们都无法对它是否始终使用“\x80”作为欧​​元字符形成意见。尽管不这样做将是极其愚蠢的行为，但不能排除这种情况。

如果文本是用英语编写的和/或在美国编写的和/或在 Windows 平台上编写的，那么可以相当肯定 cp1252 是正确的选择...直到你得到相反的证据，在这种情况下，你需要自己猜测编码或回答（什么语言，什么地点）问题。