字符串文字标记生成带有转义序列标记的 MismatchedTokenException

Question

我目前正在尝试实现一个 Antlr 解析器。
添加转义序列支持后，我在标识字符串文字的标记中获得了奇怪的 MismatchedTokenException 。

以下是导致该问题的 Antlr 解析器示例：

rule: STRING_LITERAL ;

STRING_LITERAL
  :
  '"' STRING_GUTS '"'
  ;

fragment
STRING_GUTS
  :
  ( ESC | ~('\\' | '"') )*
  ;

ESC
  :
  '\\'
  ( '\\' | '"' )
  ;

您在此代码中发现任何问题吗？

请注意，如果我从 STRING_GUTS 中删除 ESC，则字符串解析工作正常......

Answer 1

您必须发布出现此错误的输入、您正在使用的 ANTLR 版本以及您运行测试的方式，因为我认为该语法没有问题，如您所见：

Tg

grammar T;

rule
  :  STRING_LITERAL {System.out.println("parsed : " + $STRING_LITERAL.text);}
  ;

STRING_LITERAL 
  :  '"' STRING_GUTS '"'
  ;

fragment
STRING_GUTS
  :  (ESC | ~('\\' | '"'))*
  ;

// also a fragment rule perhaps?
ESC
  :  '\\' ('\\' | '"')
  ;

Main.java

import org.antlr.runtime.*;

public class Main {
  public static void main(String[] args) throws Exception {
    String src = "\"a\\\"b\\\\c\"";
    TLexer lexer = new TLexer(new ANTLRStringStream(src));
    TParser parser = new TParser(new CommonTokenStream(lexer));
    System.out.println("src    : " + src);
    parser.rule();
  }
}

如果我根据语法生成词法分析器和解析器 (1)，编译所有 java 源文件 (2) 并运行 Main 类 (3)：

java -cp antlr-3.3.jar org.antlr.Tool T.g    # 1
javac -cp antlr-3.3.jar *.java               # 2
java -cp .;antlr-3.3.jar Main                # 3

以下内容将打印到控制台：

src    : "a\"b\\c"
parsed : "a\"b\\c"

即：输入 < code>src 被解析正如预期的那样。

如果您在使用 ANTLRWorks 的解释器时遇到问题：不要使用它，它有一点问题。要么使用 ANTLRWorks 的调试器，要么使用自定义类，就像我上面所做的那样。