为什么这个语法是错误208？

Question

我不明白为什么以下语法会导致错误 208 抱怨 IF 将永远不会匹配：

error(208): test.g:11:1: The following token definitions can never be matched because prior tokens match the same input: IF

ANTLRWorks 1.4.3

ANTLT 3.4

grammar test;

@lexer::members {
  private boolean rawAhead() {
  }
}

parse    :    IF*;

RAW    :    ({rawAhead()}?=> . )+;
IF      :    'if';
ID    :    ('A'..'Z'|'a'..'z')+;

删除 RAW 规则或 ID 规则可以解决该错误... 从我的角度来看，当 rawAhead() 返回 false 时，IF 确实有可能被匹配。

Answer 1

Bood 写道：

我认为这实际上很重要，假设我们在 mmode 之外有一个并且只有一个 'if'，例如 <#/>if<#/>，那么这里的 if 将与 IF 匹配，而不是RAW 应该是（相同长度，与第一个匹配），对吗？

是的，你说得对，好点。再考虑一下，这是预期的行为 AFAIK。但是，事情的工作方式似乎有点不同：RAW 规则优先于 ID 和 IF 规则，即使放在末尾时也是如此。如您所见，词法分析器语法：

freemarker_simple.g

grammar freemarker_simple;

@lexer::members {

  private boolean mmode = false;

  private boolean rawAhead() {
    if(mmode) return false;
    int ch1 = input.LA(1), ch2 = input.LA(2), ch3 = input.LA(3);
    return !(
        (ch1 == '<' && ch2 == '#') ||
        (ch1 == '<' && ch2 == '/' && ch3 == '#') ||
        (ch1 == '
 Main.java
import org.antlr.runtime.*;

public class Main {
  public static void main(String[] args) throws Exception {
    freemarker_simpleLexer lexer = new freemarker_simpleLexer(new ANTLRStringStream("<#/if>if<#if>foo<#if>"));
    freemarker_simpleParser parser = new freemarker_simpleParser(new CommonTokenStream(lexer));
    parser.parse();
  }
}

会将以下内容打印到控制台：
TAG_START       '<#'
IF              'if'
TAG_END         '>'
RAW             'if'
TAG_START       '<#'
IF              'if'
TAG_END         '>'
RAW             'foo'
TAG_START       '<#'
IF              'if'
TAG_END         '>'

如您所见， 'if' 和 'foo' < em> 被标记为输入中的RAW：
<#/if>if<#if>foo<#if>
      ^^     ^^^

 && ch2 == '{')
    );
  }
}

parse
  :  (t=. {System.out.printf("\%-15s '\%s'\n", tokenNames[$t.type], $t.text);})* EOF
  ;

OUTPUT_START  : '${'  {mmode=true;};
TAG_START     : '<#'  {mmode=true;};
TAG_END_START : '</' ('#' {mmode=true;} | ~'#' {$type=RAW;});

OUTPUT_END    : '}' {mmode=false;};
TAG_END       : '>' {mmode=false;};

EQUALS        : '==';
IF            : 'if';
STRING        : '"' ~'"'* '"';
ID            : ('a'..'z' | 'A'..'Z')+;
SPACE         : (' ' | '\t' | '\r' | '\n')+ {skip();};

RAW           : ({rawAhead()}?=> . )+;

Main.java

会将以下内容打印到控制台：

如您所见， 'if' 和 'foo' < em> 被标记为输入中的RAW：