在 Python 中标记一个保留分隔符的字符串

Question

Python 中是否有与 str.split 等效的东西也返回分隔符？

在处理一些标记后，我需要保留输出的空白布局。

示例：

>>> s="\tthis is an  example"
>>> print s.split()
['this', 'is', 'an', 'example']

>>> print what_I_want(s)
['\t', 'this', ' ', 'is', ' ', 'an', '  ', 'example']

谢谢！

Answer 1

>>> re.compile(r'(\s+)').split("\tthis is an  example")
['', '\t', 'this', ' ', 'is', ' ', 'an', '  ', 'example']

Answer 2

re 模块提供了此功能：（

>>> import re
>>> re.split('(\W+)', 'Words, words, words.')
['Words', ', ', 'words', ', ', 'words', '.', '']

引自 Python 文档）。

对于您的示例（按空格分割），请使用 re.split('(\s+)', '\tThis is an example')。

关键是将要分割的正则表达式括在捕获括号中。这样，分隔符就会添加到结果列表中。

编辑：正如所指出的，任何前置/尾随分隔符当然也会添加到列表中。为了避免这种情况，您可以首先在输入字符串上使用 .strip() 方法。

Answer 3

你看过 pyparsing 吗？借自 pyparsing wiki 的示例：

>>> from pyparsing import Word, alphas
>>> greet = Word(alphas) + "," + Word(alphas) + "!"
>>> hello1 = 'Hello, World!'
>>> hello2 = 'Greetings, Earthlings!'
>>> for hello in hello1, hello2:
...     print (u'%s \u2192 %r' % (hello, greet.parseString(hello))).encode('utf-8')
... 
Hello, World! → (['Hello', ',', 'World', '!'], {})
Greetings, Earthlings! → (['Greetings', ',', 'Earthlings', '!'], {})

Answer 4

感谢大家指出 re 模块，我仍在尝试在它和使用我自己的返回序列的函数之间做出决定...

def split_keep_delimiters(s, delims="\t\n\r "):
    delim_group = s[0] in delims
    start = 0
    for index, char in enumerate(s):
        if delim_group != (char in delims):
            delim_group ^= True
            yield s[start:index]
            start = index
    yield s[start:index+1]

如果我有时间，我会对它们进行基准测试 xD

Answer 5

怎么样

import re
splitter = re.compile(r'(\s+|\S+)')
splitter.findall(s)