对复杂输入进行标记

Question

我正在尝试在 Python 中标记以下输入：

text = 'This @example@ is "neither":/defn/neither complete[1] *nor* trite, *though _simple_*.'

我想生成类似以下内容的内容，同时避免使用正则表达式：

tokens = [
        ('text', 'This '),
        ('enter', 'code'),
            ('text', "example")
        ('exit', None),
        ('text', ' is '),
        ('enter', 'a'),
            ('text', "neither"),
            ('href', "/defn/neither"),
        ('exit', None),
        ('text', ' complete'),
        ('enter', 'footnote'),
            ('id', 1),
        ('exit', None),
        ('text', ' '),
        ('enter', 'strong'),
            ('text', 'nor'),
        ('exit', None),
        ('text', ' trite, '),
        ('enter', 'strong'),
                ('text', 'though '),
                ('enter', 'em'),
                    ('text', 'simple'),
                ('exit', None),
        ('exit', None),
        ('text', '.')
    ]

假装上面的内容是由生成器生成的。我的当前实现有效，尽管代码有点丑陋并且不容易扩展以支持链接。

任何帮助将不胜感激。

更新以将所需的语法从复杂的嵌套列表结构更改为简单的元组流。我们人类的缩进。在链接文本中设置格式就可以了。这是 一个简单的解析器，它生成我正在寻找的词法结果，但仍然没有不处理链接或脚注。

Answer 1

好吧，这里有一个更完整的解析器，具有足够的可扩展性，可以完成我将来可能需要的任何操作。只花了三个小时。它的速度不是很快，但通常我正在编写的解析器类的输出无论如何都会被大量缓存。即使有了这个分词器和解析器，我的完整引擎仍然以 <0 秒的速度运行。默认 python-textile 渲染器的 SLoC 的 75%，同时保持一定速度。全部没有正则表达式。

脚注解析仍然存在，但与链接解析相比，这是次要的。输出（截至本发布）是：

tokens = [
    ('text', 'This '),
    ('enter', 'code'),
        ('text', 'example'),
    ('exit', None),
    ('text', ' is '),
    ('enter', 'a'),
        ('text', 'neither'),
        ('attr', ('href', '/defn/neither')),
    ('exit', None),
    ('text', ' complete[1] '),
    ('enter', 'strong'),
        ('text', 'nor'),
    ('exit', None),
    ('text', ' trite, '),
    ('enter', 'strong'),
        ('text', 'though '),
        ('enter', 'em'),
            ('text', 'simple'),
        ('exit', None),
    ('exit', None),
    ('text', '.')
]