将字符串拆分为列表，保留重音字符和表情符号，但删除标点符号

Question

如果我有字符串：

"O João foi almoçar :) ." 

我如何最好地将它分成Python中的单词列表，如下所示：

['O','João', 'foi', 'almoçar', ':)']

？

谢谢:)

索菲亚

Answer 1

如果标点符号像您的示例一样落入其自己的空格分隔标记中，那么很简单：

>>> filter(lambda s: s not in string.punctuation, "O João foi almoçar :) .".split())
['O', 'Jo\xc3\xa3o', 'foi', 'almo\xc3\xa7ar', ':)']

如果不是这种情况，您可以像这样定义笑脸字典（您需要添加更多）：

d = { ':)': '<HAPPY_SMILEY>', ':(': '<SAD_SMILEY>'}

然后替换每个带有不包含标点符号的占位符的笑脸实例（我们认为 <> 不是标点符号）：

for smiley, placeholder in d.iteritems():
    s = s.replace(smiley, placeholder)

这让我们得到 "O João foi almoçar < ;HAPPY_SMILEY>。”。

然后我们去掉标点符号：

s = ''.join(filter(lambda c: c not in '.,!', list(s)))

得到“O João foi almoçar”。

我们确实恢复了表情符号：

for smiley, placeholder in d.iteritems():
    s = s.replace(placeholder, smiley)

然后将其分割：

s = s.split()

给我们最终结果：['O', 'Jo\xc3\xa3o', 'foi', 'almo\xc3\xa7ar', ':)']。

将它们全部放在一个函数中：

def split_special(s):
    d = { ':)': '<HAPPY_SMILEY>', ':(': '<SAD_SMILEY>'}
    for smiley, placeholder in d.iteritems():
        s = s.replace(smiley, placeholder)
    s = ''.join(filter(lambda c: c not in '.,!', list(s)))
    for smiley, placeholder in d.iteritems():
        s = s.replace(placeholder, smiley)
    return s.split()

Answer 2

>>> import string
>>> [ i for i in s.split(' ') if i not in string.punctuation]
['O', 'João', 'foi', 'almoçar', ':)']