Push模式、pop模式示例

Question

我正在尝试学习 ANTLR 并遇到了 pushMode 和 popMode 词汇模式。

我在谷歌上浏览了很多关于这个的材料（包括大型教程），但未能获得pushMode和popMode的工作。

我的词法分析器语法是

lexer grammar MyLexer;
OPEN_QUOTE: '"' -> pushMode(STRING);
TEXT: [a-zA-Z]+ ;
NUMBER: [0-9]+;
mode STRING;
CLOSE_QUOTE: '"' -> popMode;
WORD: [a-zA-Z]+ ;
NUM: [0-9]+;

我的解析器

parser grammar MyParser;
options {tokenVocab=MyLexer;}
test: sentence string ;
sentence: (TEXT|NUMBER)+;
string: OPEN_QUOTE (WORD NUM) CLOSE_QUOTE;

是我的输入是

this is sentence 
"this is string"

我不相信对于第一个输入我使用的是在pushMode和模式中定义的词法分析器。对于第二条语句，我使用的是位于 pushMode 和 popMode 之外的词法分析器。 我的印象是这应该是相反的方式，如下所示

parser grammar MyParser;
options {tokenVocab=MyLexer;}
test: sentence string ;
sentence: (WORD|NUM)+;
string: OPEN_QUOTE (TEXT|NUMBER) CLOSE_QUOTE;

有人可以帮助我理解这一点吗？

Answer 1

您没有处理词法分析器规则中的空格。

常见规则是：

WS: [ \t\r\n]+ -> skip;

但是您不想跳过字符串中的空格。事实上你真的不想跳过任何事情。

尝试：

lexer grammar MyLexer;
OPEN_QUOTE: '"' -> pushMode(STRING);
TEXT: [a-zA-Z]+ ;
NUMBER: [0-9]+;
mode STRING;
CLOSE_QUOTE: '"' -> popMode;
STRING_CONTENT: ~["]* ;

~["]* 表示匹配任何不是 " 的内容。

在您的 Lexer 规则中，OPEN_QUOTE、TEXT 和 NUMBER 都是默认或顶级 Lexer 模式下的规则。当您遇到 OPEN_QUOTE 时，您将词法分析器“推入”STRING 模式，在该模式下，它只会查看 CLOSE_QUOTE、WORD 和 NUMBER 条规则。 （当然，CLOSE_QUOTE 上的 popMode 会将词法分析器弹回顶级默认词法分析器模式。您应该考虑使用 grun 工具来转储令牌流（-tokens 选项），因为它可能会使这一点更清楚

注意：通常 STRING Lexer 规则比这更复杂（建议查看。其他语法中的 STRING 规则）但是，这应该可以处理您的测试以理解词法分析器模式。