某些 utf 字符不会显示在浏览器上并且 python 脚本失败

Question

我从 Windows 7 上的 C# 应用程序生成了 SQL 脚本。名称条目具有 utf8 字符。它可以在 Windows 机器上找到，我使用 python 脚本来填充数据库。现在，相同的脚本在 Linux 平台上失败，抱怨这些特殊字符。

当我在 Windows 7 上生成包含 utf 字符的 XML 文件但无法在浏览器（IE、Firefox）上显示时，发生了类似的情况。

我曾经在 Windows XP 上生成这样的脚本，它在任何地方都能完美运行。

Answer 1

请给出一个在“名称条目”中包含“utf8 字符”的脚本的小示例。您确定它们是 utf8 而不是像“cp1252”这样的 Windows 编码吗？是什么让你确定？在命令提示符下在 Python 中尝试一下：

... python -c "print repr(open('small_script.sql', 'rb').read())"

输出中有趣的部分是它使用 \xhh （其中 h 是任何十六进制数字）来表示非 ASCII 字符，例如 \xc3\xa2 是带扬抑符的小 a 的 UTF-8 编码。向我们展示此类输出的代表性示例。另请告诉我们您从该示例脚本中获得的确切错误消息。

更新：您似乎有以 cp1252 或类似形式编码的数据（Latin1 又名 ISO-8859-1 是就像 Windows 上母鸡的牙齿一样罕见）。要使用 Python 将其转换为 UTF-8，您需要执行 fixed_data = data.decode('cp1252').encode('utf8');我无法在 C# 方面为您提供帮助——您可能想就此提出一个单独的问题。

Answer 2

假设您使用的是 python，请确保使用 Unicode 字符串。

例如：

s = "Hello world"          # Regular String
u = u"Hello Unicode world" # Unicdoe String

编辑：
以下是从链接站点读取 UTF-8 文件的示例：

import codecs
fileObj = codecs.open( "someFile", "r", "utf-8" )
u = fileObj.read() # Returns a Unicode string from the UTF-8 bytes in the file