具有重叠标记的 HOP::Lexer

Question

我正在使用 HOP::Lexer扫描 BlitzMax 模块源代码以从中获取一些数据。我当前感兴趣的一项特定数据是模块描述。

目前，我正在搜索 ModuleInfo "Description: foobar" 或 ModuleInfo "Desc: foobar" 格式的描述。这很好用。但遗憾的是，我扫描的大多数模块都在注释块内的其他地方定义了其描述。这实际上是 BlitzMax 中的常见方法，正如文档生成器所期望的那样。

这就是所有模块在主源文件中定义其描述的方式。

Rem
    bbdoc: my module description
End Rem
Module namespace.modulename

这也不是真正的问题。但 End Rem 之后的行也包含我想要的数据（模块名称）。这是一个问题，因为现在标记的两个定义相互重叠，并且在检测到第一个标记后，它将从停止的位置（正在扫描的内容的位置）继续。这意味着模块名称的标记不会检测到任何内容。

是的，我已经确保我的令牌顺序是正确的。将光标移回一行似乎是不可能的（有点可以理解）。

一小段代码，用于从模块定义上方的 Rem-End Rem 块中获取描述（未完成，但适用于当前测试用例）：

        [   'MODULEDESCRIPTION',
            qr/[ \t]*\bRem\n(?:\n|.)*?\s*\bEnd[ \t]*Rem\nModule[\s\t]+/i,
            sub {
                my ($label, $value) = @_;
                $value =~ /bbdoc: (.+)/;
                [$label, $1];
              }
        ],

因此，在我的测试用例中，我首先扫描单个注释，然后是上面的块（MODULEDESCRIPTION），然后是块注释（Rem-End Rem），模块名称等。

目前我能想到的唯一解决方案是仅为模块描述设置第二个词法分析器，尽管我不喜欢这样做。我想要的东西可以通过 HOP::Lexer 实现吗？

我的 Lexer 的来源可以在 https:/ 找到/github.com/maximos/maximus-web/blob/develop/lib/Maximus/Class/Lexer.pm

Answer 1

我通过添加 MODULEDESCRIPTION（稍加修改的版本）解决了这个问题。在子例程中，我只是过滤掉模块名称并返回一个包含 4 个元素的 arrayref，稍后我会对其进行迭代，以创建一个带有标记及其值的漂亮的可用数组。

解决方案再次位于 https://github.com /maximos/maximus-web/blob/develop/lib/Maximus/Class/Lexer.pm

编辑：或者让我将这段代码粘贴到此处

        [   'MODULEDESCRIPTION',

            qr/[ \t]*\bRem\R(?:\R|.)*?\bEnd[ \t]*Rem\R\bModule[\s\t]\w+\.\w+/i,
            sub {
                my ($label, $value) = @_;
                my ($desc) = ($value =~ /\bbbdoc: (.+)/i);
                my ($name) = ($value =~ /\bModule (\w+\.\w+)/i);
                [$label, $desc, 'MODULENAME', $name];
              }
        ],