特殊字符的正则态度（顶部有线）

Question

我试图在Python中编写正则表达式来用下划线替换所有非ascii，但如果其中一个字符是“S̄”（顶部有一行的“S”），它会添加一个额外的“S”...有没有办法解释这个角色？我相信这是一个有效的 utf-8 字符，但不是 ascii

这里有代码：

import re
line = "ra*ndom wordS̄"
print(re.sub('[\W]', '_', line))

我希望它输出：

ra_ndom_word_

但我得到：

ra_ndom_wordS__

Answer 1

Python 以这种方式工作的原因是，您实际上正在查看两个不同的字符；有一个 S ，然后是一个组合宏 U+0304

在一般情况下，如果您想用下划线替换一系列组合字符和基本字符，请尝试例如

import unicodedata

def cleanup(line):
    cleaned = []
    strip = False
    for char in line:
        if unicodedata.combining(char):
            strip = True
            continue
        if strip:
            cleaned.pop()
            strip = False
        if unicodedata.category(char) not in ("Ll", "Lu"):
            char = "_"
        cleaned.append(char)
    return ''.join(cleaned)

顺便说一句， \W 不需要正方形它周围的括号；它已经是一个正则表达式字符类。

Python 的 re 模块缺乏对重要 Unicode 属性的支持，但如果您确实想为此专门使用正则表达式，则第三方 regex 库对 Unicode 类别具有适当的支持。

“Ll” 是小写字母，“Lu” 是大写字母。还有其他 Unicode L 类别，因此可以调整它以满足您的要求（unicodedata.category(char).startswith("L") 也许？）；另请参阅 https://www.fileformat.info/info/unicode/category/索引.htm

Answer 2

您可以使用以下脚本来获取所需的输出：

import re

line="ra*ndom wordS̄"
print(re.sub('[^[-~]+]*','_',line))

输出

ra_ndom_word_

在这种方法中，它也适用于其他非 ASCII 字符：

import re

line="ra*ndom ¡¢£Ä wordS̄.  another non-ascii: Ä and Ï"
print(re.sub('[^[-~]+]*','_',line))

输出：

ra_ndom_word_another_non_ascii_and_