如何检查字符串是 unicode 还是 ascii？

Question

在 Python 中我必须做什么才能找出字符串的编码？

Answer 1

在 Python 3 中，所有字符串都是 Unicode 字符序列。有一个 bytes 类型保存原始字节。

在 Python 2 中，字符串可以是 str 类型或 unicode 类型。您可以使用如下代码来区分：

def whatisthis(s):
    if isinstance(s, str):
        print "ordinary string"
    elif isinstance(s, unicode):
        print "unicode string"
    else:
        print "not a string"

This does not区分“Unicode 或 ASCII”；它只区分Python类型。 Unicode 字符串可能仅由 ASCII 范围内的字符组成，而字节串可能包含 ASCII、编码的 Unicode 甚至非文本数据。

Answer 2

如何判断一个对象是unicode字符串还是字节字符串

您可以使用type或isinstance。

在 Python 2 中：

>>> type(u'abc')  # Python 2 unicode string literal
<type 'unicode'>
>>> type('abc')   # Python 2 byte string literal
<type 'str'>

在 Python 2 中，str 只是一个字节序列。 Python不知道什么
它的编码是。 unicode 类型是存储文本的更安全的方式。
如果您想更多地了解这一点，我推荐 http://farmdev.com/talks/unicode/ 。

在Python 3中：

>>> type('abc')   # Python 3 unicode string literal
<class 'str'>
>>> type(b'abc')  # Python 3 byte string literal
<class 'bytes'>

在Python 3中，str类似于Python 2的unicode，用于
存储文本。在 Python 2 中称为 str 的内容在 Python 3 中称为 bytes。

---

如何判断字节字符串是有效的 utf-8 还是 ascii

您可以调用 decode< /代码>。如果它引发 UnicodeDecodeError 异常，则它无效。

>>> u_umlaut = b'\xc3\x9c'   # UTF-8 representation of the letter 'Ü'
>>> u_umlaut.decode('utf-8')
u'\xdc'
>>> u_umlaut.decode('ascii')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 0: ordinal not in range(128)

Answer 3

在 python 3.x 中，所有字符串都是 Unicode 字符序列。对 str （默认情况下意味着 unicode 字符串）进行 isinstance 检查就足够了。

isinstance(x, str)

关于Python 2.x，
大多数人似乎都在使用包含两个检查的 if 语句。一种用于 str，另一种用于 unicode。

如果你想检查是否有一个“类似字符串”的对象，并且只用一个语句，你可以执行以下操作：

isinstance(x, basestring)

Answer 4

Unicode 不是一种编码 - 引用 Kumar McMillan 的话：

如果 ASCII、UTF-8 和其他字节字符串是“文本”...

...那么 Unicode 就是“文本性”；

它是文本的抽象形式

请阅读 PyCon 2008 上 McMillan 的 Unicode In Python, Completely Demystified 演讲，它解释了一些事情比 Stack Overflow 上的大多数相关答案要好得多。

Answer 5

如果您的代码需要同时兼容 Python 2 和 Python 3，则不能直接使用 isinstance(s,bytes) 或 isinstance(s ,unicode) 而不将它们包装在 try/ except 或 python 版本测试中，因为 bytes 在 Python 2 中未定义，而 unicode 在 Python 3 中未定义。

有一些丑陋的解决方法。一种极其丑陋的方法是比较类型的名称，而不是比较类型本身。这里有一个例子：

# convert bytes (python 3) or unicode (python 2) to str
if str(type(s)) == "<class 'bytes'>":
    # only possible in Python 3
    s = s.decode('ascii')  # or  s = str(s)[2:-1]
elif str(type(s)) == "<type 'unicode'>":
    # only possible in Python 2
    s = str(s)

一个可以说稍微不那么丑陋的解决方法是检查Python版本号，例如：

if sys.version_info >= (3,0,0):
    # for Python 3
    if isinstance(s, bytes):
        s = s.decode('ascii')  # or  s = str(s)[2:-1]
else:
    # for Python 2
    if isinstance(s, unicode):
        s = str(s)

这些都是unpythonic的，并且大多数时候可能有更好的方法。

Answer 6

use:

import six
if isinstance(obj, six.text_type)

在六个库中它表示为：

if PY3:
    string_types = str,
else:
    string_types = basestring,

Answer 7

请注意，在 Python 3 上，说以下任何一个都是不公平的：

• str 对于任何 x 都是 UTFx（例如 UTF8）

• str 是 Unicode

• str s 是 Unicode 字符的有序集合

Python 的 str 类型（通常）是 Unicode 代码点的序列，其中一些代码点映射到字符。

---

即使在 Python 3 上，回答这个问题也不像您想象的那么简单。

测试 ASCII 兼容字符串的一个明显方法是尝试编码：

"Hello there!".encode("ascii")
#>>> b'Hello there!'

"Hello there... ☃!".encode("ascii")
#>>> Traceback (most recent call last):
#>>>   File "", line 4, in <module>
#>>> UnicodeEncodeError: 'ascii' codec can't encode character '\u2603' in position 15: ordinal not in range(128)

错误会区分大小写。

在Python 3中，甚至有一些字符串包含无效的Unicode代码点：

"Hello there!".encode("utf8")
#>>> b'Hello there!'

"\udcc3".encode("utf8")
#>>> Traceback (most recent call last):
#>>>   File "", line 19, in <module>
#>>> UnicodeEncodeError: 'utf-8' codec can't encode character '\udcc3' in position 0: surrogates not allowed

使用相同的方法来区分它们。

Answer 8

这可能对其他人有帮助，我开始测试变量 s 的字符串类型，但对于我的应用程序来说，简单地将 s 作为 utf-8 返回更有意义。调用 return_utf 的进程就知道它正在处理什么并且可以适当地处理该字符串。该代码不是原始的，但我希望它与 Python 版本无关，无需进行版本测试或导入 6 个版本。请对下面的示例代码进行评论以帮助其他人。

def return_utf(s):
    if isinstance(s, str):
        return s.encode('utf-8')
    if isinstance(s, (int, float, complex)):
        return str(s).encode('utf-8')
    try:
        return s.encode('utf-8')
    except TypeError:
        try:
            return str(s).encode('utf-8')
        except AttributeError:
            return s
    except AttributeError:
        return s
    return s # assume it was already utf-8

Answer 9

在Python-3中，我必须了解字符串是否类似于 b='\x7f\x00\x00\x01' 或 b='127.0.0.1' 我的解决方案是就像这样：

def get_str(value):
    str_value = str(value)
    
    if str_value.isprintable():
        return str_value

    return '.'.join(['%d' % x for x in value])

为我工作，我希望为需要的人工作

Answer 10

您可以使用通用编码检测器，但请注意，它只会给您最好的猜测，而不是实际编码，因为例如不可能知道字符串“abc”的编码。您将需要在其他地方获取编码信息，例如 HTTP 协议为此使用 Content-Type 标头。

Answer 11

对于 py2/py3 兼容性，只需使用


进口六
if isinstance(obj, Six.text_type)


Answer 12

一种简单的方法是检查 unicode 是否是内置函数。如果是这样，那么您使用的是 Python 2，并且您的字符串将是一个字符串。为了确保一切都在 unicode 中，可以这样做：

import builtins

i = 'cats'
if 'unicode' in dir(builtins):     # True in python 2, False in 3
  i = unicode(i)

Answer 13

如果字符串包含任何 Unicode 字符，'Shōgun'.encode('ASCII') 将引发异常。您可以使用 unidecode 将 Unicode 字符转换为 ASCII。

import sys
import traceback
import types

import unidecode


unicode_string = 'Shōgun'


def unicode_to_ascii(string: str):
    try:
        string.encode(encoding = 'ASCII')
    except UnicodeEncodeError:
        exc_type, exc_value, exc_traceback = sys.exc_info()  # type: type(UnicodeEncodeError), UnicodeEncodeError, types.TracebackType
        traceback.print_exception(exc_type, exc_value, exc_traceback)
        print()
        return unidecode.unidecode_expect_ascii(string)
    else:
        return string


print(unicode_to_ascii(string = unicode_string))

Returns:

Traceback (most recent call last):
  File "C:\Users\phpjunkie\Python\Scripts\debug\unicode.py", line 10, in unicode_to_ascii
    string.encode(encoding = 'ASCII')
UnicodeEncodeError: 'ascii' codec can't encode character '\u014d' in position 2: ordinal not in range(128)

Shogun