Python排除特殊字符和非英语字母

Question

我正在为Python制作刮擦脚本。 我不想刮擦非英语字母和特殊字符。

我正在使用此代码来摆脱我不需要的大多数符号/字符/标志：

 emoji_pattern = re.compile("["
                                                                u"\U0001F600-\U0001F64F"  # emoticons
                                                                u"\U0001F300-\U0001F5FF"  # symbols & pictographs
                                                                u"\U0001F680-\U0001F6FF"  # transport & map symbols
                                                                u"\U0001F1E0-\U0001F1FF"  # flags (iOS)
                                                                u"\U00002500-\U00002BEF"  # chinese char
                                                                u"\U00002702-\U000027B0"
                                                                u"\U00002702-\U000027B0"
                                                                u"\U000024C2-\U0001F251"
                                                                u"\U0001f926-\U0001f937"
                                                                u"\U00010000-\U0010ffff"
                                                                u"\u2640-\u2642" 
                                                                u"\u2600-\u2B55"
                                                                u"\u200d"
                                                                u"\u23cf"
                                                                u"\u23e9"
                                                                u"\u231a"
                                                                u"\ufe0f"  # dingbats
                                                                u"\u3030"
                                                           "]+", re.UNICODE)

不可忽视的是，此代码仍然忽略了这样的文本：

vɒs səˈvɑːnt
meɪhər ʃælæl ˈhæʃ bɑːz
מַהֵר שָׁלָל חָשׁ בַּז
Mahēr šālāl ḥāš baz

我如何也可以摆脱这些代码？

Answer 1

它过滤了吗？

import re


string = '''English text? vɒs səˈvɑːnt

\U0001F600 \U0001F64F
meɪhər ʃælæl ˈhæʃ bɑːz
מַהֵר שָׁלָל חָשׁ בַּז
Mahēr šālāl ḥāš baz'''


print(re.sub('[^\sA-Za-z0-9.!?\\-]+','', string))

输出：

English text? vs svnt

 
mehr ll h bz
   
Mahr ll  baz

我不确定您是否需要标点符号。如果不是 - 使用此模式[^\ sa-Za-Z0-9]