Python 和字符规范化

Question

你好 我从外部源检索基于文本的 utf8 数据，其中包含特殊字符，例如 u"ıöüç"，同时我想将它们规范化为英语，例如 "ıöüç" -> “iouc” 。实现这一目标的最佳方法是什么？

Answer 1

我建议使用 Unidecode 模块：

>>> from unidecode import unidecode
>>> unidecode(u'ıöüç')
'iouc'

注意如何向其提供 unicode 字符串并输出字节字符串。保证输出为 ASCII。

Answer 2

这完全取决于您想要对结果进行音译的程度。如果您想将所有内容全部转换为 ASCII（αβγ 到 abg），那么 unidecode 就是您的最佳选择。

如果您只想删除重音字母中的重音，那么您可以尝试使用规范化形式 NFKD 分解字符串（这会将重音字母 á 转换为纯字母 a ，然后是U+0301 组合尖锐重音），然后丢弃重音（属于 Unicode 字符类 Mn —“标记，非空格”）。

import unicodedata

def remove_nonspacing_marks(s):
    "Decompose the unicode string s and remove non-spacing marks."
    return ''.join(c for c in unicodedata.normalize('NFKD', s)
                   if unicodedata.category(c) != 'Mn')

Answer 3

我发现的最简单的方法：

unicodedata.normalize('NFKD', s).encode("ascii", "ignore")

Answer 4

import unicodedata
unicodedata.normalize()

http://docs.python.org/library/unicodedata.html