是否可以从python/pandas中的字符串中删除不良字符？

Question

我正在尝试使用Camelot库阅读PDF并将其存储到数据框架中。所得的数据框在字符串字段中乱七八糟/不良字符。

例如：123rise - tower＆amp; Troe的Mech -

我只想删除乱码的字符，并保留其他所有内容，包括符号。

我尝试了这样的正则是这些[^\ w。但是，我必须添加不需要删除的每个特殊角色。我也不能抛弃骆驼图书馆。

有办法解决这个问题吗？

Answer 1

您可以尝试使用Unicodedata库将数据归一化，例如：

import unicodedata

def formatString(value, allow_unicode=False):
    value = str(value)
    if allow_unicode:
        value = unicodedata.normalize('NFKC', value)
    else:
        value = unicodedata.normalize('NFKD', value).encode('ascii', 'ignore').decode('ascii')
    return(value)

print(formatString("123Rise – Tower & Troe's Mech–"))

结果：

123Rise a Tower & Troe's Mecha

Answer 2

实现这一目标的一种方法是删除非ASCII字符。

my_text = "123Rise – Tower & Troe's Mech–"
my_text = ''.join([char if ord(char) < 128 else '' for char in my_text])
print(my_text)

结果：

123Rise  Tower & Troe's Mech

您也可以使用此网站作为对正常和扩展的ASCII字符的参考。

Answer 3

我通常使用过滤非ASCII垃圾的另一种方法，并且可能相关（或不相关）是：

# Your "messy" data in question.
string = "123Rise – Tower & Troe's Mech–"

# Iterate over each character, and filter by only ord(c) < 128.
clean = "".join([c for c in string if ord(c) < 128])

什么是ord ？ ORD（我理解）将字符转换为其二进制/ASCII数字表示。您可以通过仅过滤小于128的数字来利用它来提高自己的优势（如上所述），该数字将您的文本范围限制为基本的ASCII，而无需使用混乱的编码而无需Unicode的内容。

希望有帮助！

Answer 4

使用正则删除非ASCII字符会很快：

import re
text = "123Rise – Tower & Troe's Mech–"
re.sub(r'[^\x00-\x7F]+','', text)

输出将为：

"123Rise  Tower & Troe's Mech"