如何从antlr中的语法文件创建令牌文件

Question

我正在使用 antlr 创建 DSL。 Lexer 和 Parser 编写在一个语法文件中（例如layout.g）。树语法是在另一个语法文件（例如layoutTree.g）中编写的。现在树解析器无法正确解析。我打印了解析器的 AST 输出，它是正确的。我浏览了生成的树解析器代码，发现标记值声明在树解析器和解析器中分配了不同的值。下面是解析器和树解析器的示例输出。

解析器输出

public static final int ARRAY_MEMBER_TOKEN=4;
public static final int ARRAY_TOKEN=5;
public static final int DECLARATION_TOKEN=6;

树解析器输出

public static final int EOF=-1;
public static final int DECLARATION_TOKEN=4;
public static final int IDENTIFIER=5;

如您所见，DECLARATION_TOKEN 在解析器输出和树解析器输出中具有不同的值。因为这个树解析器没有按预期工作。我该如何纠正这个问题？

生成的令牌文件（例如layout.token）是否有问题？我的项目中该文件为空。如何生成该文件？

Answer 1

你的树语法中有类似的东西吗？

options
{
  tokenVocab=layout; //NOT layout.g or layout.tokens
  ASTLabelType=pANTLR3_BASE_TREE;
}