如何解决 ANTLR 错误“词法分析器操作中不允许属性引用”

Question

读完《The Definitive ANTLR 4 Reference》第10章后，我尝试编写一个简单的分析器来获取词法属性，但出现错误。如何获取词汇属性？

lexer grammar TestLexer;

SPACE:                       [ \t\r\n]+ -> skip;

LINE:                        INT DOT [a-z]+ {System.out.println($INT.text);};
INT:                         [0-9]+;
DOT:                         '.';

[INFO] 
[INFO] --- antlr4-maven-plugin:4.9.2:antlr4 (antlr) @ parser ---
[INFO] ANTLR 4: Processing source directory /Users/Poison/IdeaProjects/parser/src/main/antlr4
[INFO] Processing grammar: me.tianshuang.parser/TestLexer.g4
[ERROR] error(128): me.tianshuang.parser/TestLexer.g4:5:65: attribute references not allowed in lexer actions: $INT.text
[ERROR] /Users/Poison/IdeaProjects/parser/me.tianshuang.parser/TestLexer.g4 [5:65]: attribute references not allowed in lexer actions: $INT.text

ANTLR4版本：4.9.2。

参考：
antlr4/actions.md at master · antlr/antlr4 · GitHub
如何获取 Antlr-4 词法分析器规则操作中的标记属性 · 问题 #1946 · antlr/antlr4 · GitHub

Answer 1

如何获取词法属性？

你不能：词法分析器规则根本不支持标签。您可能会说，“好吧，但我没有使用任何标签！”。但以下：

INT DOT [a-z]+ {System.out.println($INT.text);}

只是以下的简写符号：

some_var_name=INT DOT [a-z]+ {System.out.println($some_var_name.text);}

其中 some_var_name 称为标签。

如果删除嵌入的代码（{ 和 } 之间的内容），在 INT 之前添加标签，然后生成词法分析器，您将请参阅打印到 stderr 的以下警告：

ANTLR 4 不支持词法分析器规则中的标签； actions 不能引用词法规则的元素，但您可以使用 getText() 获取与规则匹配的整个文本

最后一部分意味着您可以像这样抓取词法分析器规则的整个文本：

LINE
 : INT DOT [a-z]+ {System.out.println(getText());}
 ;

但是从词法分析器的各个部分抓取文本规则是不可能的。

Answer 2

尝试分离词法分析器和其他输出问题的关注点：这是 Antlr 的主要焦点VS 野牛/Flex。例如，您可以使用本书其他章节中的访问者/听众模式。