扩展 ANTLR3 AST

Question

使用 ANTLR2，您可以在语法定义文件中定义类似的内容：

options
{
   language = "CSharp";
   namespace = "Extended.Tokens";
}

tokens {
   TOKEN<AST=Extended.Tokens.TokenNode>;
}

然后，您可以创建一个类：

public class TokenNode: antlr.BaseAST
{
    ...
}

如果可以使用类似的内容，有什么想法吗（将类创建委托给 AST 工厂，而不是我手动进行树复制）？它不仅仅通过简单的语法定义从旧格式复制到新格式来工作，我尝试在他们的网站和示例中搜索类似的内容。有什么提示吗？

编辑

我不是想创建自定义令牌，而是创建自定义“节点解析器”。

为了“执行”一棵树，你有两个选择（据我所知）：

1. 创建一个“树访问者”并处理值，或者
2. 通过“几乎复制”语法定义来创建一个树解析器。

在 v2 的情况下，我可以将树节点装饰为我想要的任何方法，然后在解析器运行后通过从根节点调用“执行”之类的方法来调用它们。

Answer 1

我对C#了解很少，但与Java目标应该没有太大区别。

您可以通过在 options { ... } 部分中设置 ASTLabelType 来创建并让 ANTLR 使用自定义树（XTree本例）：

Tg

grammar T;

options {
  output=AST;
  ASTLabelType=XTree;
}

tokens {
  ROOT;
}

@parser::header {
  package demo;
  import demo.*;
}

@lexer::header {
  package demo;
  import demo.*;
}

parse
  :  Any* EOF -> ^(ROOT Any*)
  ;

Any
  :  .
  ;

然后，您创建一个扩展 CommonTree 的自定义类：

demo/XTree.java

package demo;

import org.antlr.runtime.*;
import org.antlr.runtime.tree.*;

public class XTree extends CommonTree {

  public XTree(Token t) {
    super(t);
  }

  public void x() {
    System.out.println("XTree.text=" + super.getText() + ", children=" + super.getChildCount());
  }
}

，当您创建 TParser 的实例时，您必须创建并设置一个习惯TreeAdaptor 用于创建 XTree 的实例：

demo/Main.java

package demo;

import org.antlr.runtime.*;
import org.antlr.runtime.tree.*;

public class Main {

  public static void main(String[] args) throws Exception {
    String source = "ABC";
    TLexer lexer = new TLexer(new ANTLRStringStream(source));
    TParser parser = new TParser(new CommonTokenStream(lexer));
    parser.setTreeAdaptor(new CommonTreeAdaptor(){
      @Override
      public Object create(Token t) {
        return new XTree(t);
      }
    }); 
    XTree root = (XTree)parser.parse().getTree();
    root.x();
  }
}

运行演示：

java -cp antlr-3.2.jar org.antlr.Tool T.g -o demo/
javac -cp antlr-3.2.jar demo/*.java
java -cp .:antlr-3.2.jar demo.Main

将打印：

XTree.text=ROOT, children=3

有关详细信息，请参阅：http://www.antlr.org/wiki/display/ANTLR3/Tree+construction