如何在Python中显示非英文字符？

Question

我有一个 python 字典，其中包含具有非英语字符的项目。当我打印字典时，python shell 无法正确显示非英语字符。我该如何解决这个问题？

Answer 1

当您的应用程序打印 hei\xdfen 而不是 heißen 时，这意味着您实际上并未打印实际的 unicode 字符串，而是在 unicode 对象的字符串表示形式上打印。

让我们假设您的字符串（“heißen”）存储在名为 text 的变量中。只是为了确定您所处的位置，请通过调用检查此变量的类型：

>>> type(text)

如果您得到 ，则意味着您没有处理字符串，而是处理字符串一个 unicode 对象。

如果您执行直观的操作并尝试通过调用 print(text) 打印到文本，您将不会得到实际文本（“heißen”），而是得到一个字符串表示形式unicode 对象。

要解决此问题，您需要知道您的终端具有哪种编码，并打印出根据给定编码编码的 unicode 对象。

例如，如果您的终端使用 UTF-8 编码，您可以通过调用来打印字符串：

text.encode('utf-8')

这是基本概念。现在让我给你一个更详细的例子。假设我们有一个存储字典的源代码文件。例如：

mydict = {'heiße': 'heiße', 'äää': 'ööö'}

当您输入 print mydict 时，您将得到 {'\xc3\xa4\xc3\xa4\xc3\xa4': '\xc3\xb6\xc3\xb6\xc3\xb6' , 'hei\xc3\x9fe': 'hei\xc3\x9fe'}.甚至 print mydict['äää'] 也不起作用：它会产生类似于 ├Â├Â├Â 的结果。通过尝试 print type(mydict['äää']) 可以揭示问题的本质，它会告诉您正在处理一个 string 对象。

为了解决这个问题，您首先需要将源代码文件的字符集的字符串表示形式解码为 un​​icode 对象，然后在终端的字符集中表示它。对于单个字典项，可以通过以下方式实现：

print unicode(mydict, 'utf-8')

请注意，如果默认编码不适用于您的终端，则需要编写：

print unicode(mydict, 'utf-8').encode('utf-8')

其中外部编码方法根据您的终端指定编码。

我真的强烈建议您阅读 Joel 的 “每个软件开发人员绝对、肯定必须了解 Unicode 的绝对最低限度”和字符集（没有任何借口！）”。除非您了解字符集的工作原理，否则您将一次又一次地遇到类似的问题。

Answer 2

实际上，这并不是一个与 Python 相关的问题。

您的环境变量（我假设您使用的是 Linux 或 Mac）应该启用 UTF-8 字符编码。

您应该能够将它们放入 ~/.profile （或 ~/.bashrc）文件中：

export LC_ALL=en_US.UTF-8
export LANG=en_US.UTF-8
export LANGUAGE=en_US.UTF-8

-edit-

实际上，Mac 默认使用 UTF-8。这是一个 Windows/Linux 问题。

-edit 2-

当然，您应该始终使用 unicode 字符串、unicode 编辑器和 unicode 文档类型。但我假设你知道这一点:-)

Answer 3

Python 3.0 有默认的 unicode 字符串，而在 python 2.x 中，您必须在字符串前面加上 u 前缀

u"汉字/漢字 chinese"  

Answer 4

在 python 终端中，

    >>> "heißen"
    is equivalent to
    >>> print repr("heißen")

有关 python 2 中的 repr 的 Python 文档
http://docs.python.org/2/library/functions.html #func-repr
很稀缺。

可以看出，两者都为您提供了字节串“heißen”的“基于字节”表示，其中所有大于 127 的字节都经过 \x 编码。从这里你得到

    'hei\xc3\x9fen'

unicode 的 repr() 并没有多大帮助。它正确地将“ß”显示为单个 unincode cherecter“\xdf”，但仍然不可读。

我发现的实用解决方案是使用 python 3。

http://docs.python.org /3/library/functions.html#repr

该页面还说明了

    ascii(object)
    As repr(), return a string containing a printable representation of an
    object, but escape the non-ASCII characters in the string returned by
    repr() using \x, \u or \U escapes. This generates a string similar to
    that returned by repr() in Python 2.

一些内容。