如何用树语法中的文本重写标记？

Question

这是我的树语法：

grammar t;
options{
  output = AST;
}
type
  :
  'NVARCHAR' -> "VARCHAR"
  ;

ANTLR3 3.1.3 说：

syntax error: antlr: t.g:12:5: unexpected token: 'NVARCHAR'

这里出了什么问题？我取自这篇文章。

附注我稍后会使用这个语法来从中得到 AST。一旦检索到 AST，我就会遍历它并将每个标记的文本添加到某个字符串缓冲区。上面重写的思路就是替换掉某些token。我正在做语言到语言的映射（更具体地说，是 SQL 到 SQL 方言）。

Answer 1

请注意第一句话 Terence 开头：“只是对语义规则规范语言有一些很酷的想法......”。这就是第一个例子：一个想法。这不是有效的语法。

（至少）有两个选项供您选择：

---

1. 立即重写令牌中的文本

grammar T;

options{
  output=AST;
}

@parser::members {
  public static void main(String[] args) throws Exception {
    TLexer lexer = new TLexer(new ANTLRStringStream("NVARCHAR"));
    TParser parser = new TParser(new CommonTokenStream(lexer));
    parser.type();
  }
}

type
  :  NVARCHAR {System.out.println("token=" + $NVARCHAR.text);}
  ;

NVARCHAR
  :  'NVARCHAR' {setText("VARCHAR");}
  ;

但这只会调整令牌的文本，而不是令牌的类型，令牌仍然存在NVARCHAR 类型。

---

2. 使用虚构的令牌：

grammar T;

options{
  output=AST;
}

tokens {
  VARCHAR='VARCHAR';
}

@parser::members {
  public static void main(String[] args) throws Exception {
    TLexer lexer = new TLexer(new ANTLRStringStream("NVARCHAR"));
    TParser parser = new TParser(new CommonTokenStream(lexer));
    parser.type();
  }
}

type
  :  NVARCHAR -> VARCHAR
  ;

NVARCHAR
  :  'NVARCHAR'
  ;

它会更改令牌的text 和 type。

---

正如您所看到的，在这两个演示中，token=VARCHAR 都被打印到控制台：

bart@hades:~/Programming/ANTLR/Demos/T$ java -cp antlr-3.3.jar org.antlr.Tool T.g
bart@hades:~/Programming/ANTLR/Demos/T$ javac -cp antlr-3.3.jar *.java
bart@hades:~/Programming/ANTLR/Demos/T$ java -cp .:antlr-3.3.jar TParser 
token=VARCHAR

Answer 2

在antlr4中，替换文本和类型可以通过type操作来实现：

OldTokenType: 
    ('Token1' | 'Token2' | 'Token3' ) {setText("New Token");} 
    -> type(NewTokenType);