ANTLR：R5RS 词法结构的语法，数字问题

Question

我正在使用 DLTK 在 eclipse 中实现方案的 IDE。到目前为止，我正在编写语法来识别词汇结构。

我正在关注官方 EBNF，可以在此处查看：
http://rose-r5rs.googlecode.com/hg/doc/r5rs -grammar.html

我无法获得数字语法的简单形式。例如十进制数字，我的

grammar r5rsnumbers;

options {
  language = Java;
}


program:
NUMBER;

// NUMBERS


NUMBER : /*NUM_2 | NUM_8 |*/ NUM_10; //| NUM_16;
fragment NUM_10 : PREFIX_10 COMPLEX_10;
fragment COMPLEX_10 
: REAL_10 (
            '@' REAL_10
            | '+' (
                    UREAL_10 'i'
                    | 'i'
                    )?  
            | '-' (
                    UREAL_10 'i'
                    | 'i'
                    )?
            )?
    | '+' (
        UREAL_10 'i'
        | 'i'
        )?  
    | '-' (
        UREAL_10 'i'
        | 'i'
        )?;

fragment REAL_10 : SIGN UREAL_10;
fragment UREAL_10 
    : UINTEGER_10 ('/' UINTEGER_10)?
    | DECIMAL_10;
fragment UINTEGER_10 : DIGIT_10+ '#'*;

fragment DECIMAL_10 
    : UINTEGER_10 SUFFIX
    | '.' DIGIT_10+ '#'* SUFFIX
    | DIGIT_10+ '.' DIGIT_10* '#'* SUFFIX
    | DIGIT_10+ '#'+ '.' '#'* SUFFIX;

fragment PREFIX_10 
    : RADIX_10  EXACTNESS
    | EXACTNESS RADIX_10;

fragment DIGIT : '0'..'9';
fragment EMPTY : '""'; // empty is the empty string
fragment SUFFIX : EMPTY | EXPONENT_MARKER SIGN DIGIT_10+;
fragment EXPONENT_MARKER : 'e' | 's' | 'f' | 'd' | 'l';
fragment SIGN : EMPTY | '+' |  '-';
fragment EXACTNESS : EMPTY | '#i' | '#e';
fragment RADIX_10 : EMPTY | '#d';
fragment DIGIT_10 : DIGIT;

问题是，它无法识别任何东西。我不明白从 PREFIX_10 收到的警告或如何解决它。如果我不在规则中使用片段，则该文件不会编译，因为他抱怨 DIGIT_10 规则与几乎所有其他先前规则匹配相同的输入。

与 num_2、num_8 和 num_16 相同

，加上我不确定我的空字符串解决方案。

我怎么去这里？

Answer 1

请注意，您的 ANTLR 规则：

EMPTY : '""';

不匹配空字符串，而是匹配两个双引号。

但是您不希望词法分析器规则仅匹配空字符串：这将导致它进入无限循环，因为任何字符串/源中都有无限数量的空字符串。

因此，BNF 规则：

<real 10>
    ::= <sign> <ureal 10>

<sign>
    ::= <empty> | {+} | {-}

不应该被翻译为以下 ANTLR 规则：

REAL_10 
  :  SIGN UREAL_10
  ;

SIGN 
  :  EMPTY 
  |  '+' 
  |  '-'
  ;

而是这样：

REAL_10 
  :  SIGN? UREAL_10
  ;

SIGN 
  :  '+' 
  |  '-'
  ;

另请注意，您的规则：

fragment COMPLEX_10 
: REAL_10 (
            '@' REAL_10
            | '+' (
                    UREAL_10 'i'
                    | 'i'
                    )?  
            | '-' (
                    UREAL_10 'i'
                    | 'i'
                    )?
            )?
    | '+' (
        UREAL_10 'i'
        | 'i'
        )?  
    | '-' (
        UREAL_10 'i'
        | 'i'
        )?;

有点难以阅读。以不同的方式缩进可能会使它更容易理解：

fragment COMPLEX_10
  :  REAL_10 ( '@' REAL_10 
             | '+' (UREAL_10 'i' | 'i')? 
             | '-' (UREAL_10 'i' | 'i')?
             )?
  |  '+' (UREAL_10 'i' | 'i')?  
  |  '-' (UREAL_10 'i' | 'i')?
  ;

这可以通过编写来简化：

fragment COMPLEX_10
  :  REAL_10 ('@' REAL_10)?
  |  REAL_10? ('+' | '-') UREAL_10? 'i'
  ;

另请注意，许多 BNF 表示法不区分小写和大写文字。因此，您可能不想在 ANTLR 语法中编写 'i'，而是使用 ('i' | 'I') 来代替。

编辑

塞巴斯蒂安写道：

但我仍然遇到 PREFIX_10 规则问题：片段 PREFIX_10 ：RADIX_10？精确？ |精确？ RADIX_10?; 这告诉我，替代方案 2 永远无法匹配，尽管它应该分别与 2 个替代方案匹配 #i #d 和 #d #i或者我在这里做错了什么？

（片段）规则 PREFIX_10 有几个问题：

fragment PREFIX_10 
  :  RADIX_10? EXACTNESS? // alternative 1
  |  EXACTNESS? RADIX_10? // alternative 2
  ;

首先，两者都匹配空字符串。因为替代方案 1总是匹配空字符串，所以替代方案 2 永远不会匹配，这就是 ANTLR 告诉您的。

现在，看看 BNF 规则：

<exactness>
    ::= <empty> | {#i} | {#e}

<prefix 10>
    ::= <radix 10> <exactness>
      | <exactness> <radix 10>

<radix 10>
    ::= <empty> {#d}

（请注意 {#d} 等于 {#d}，因此 ; IMO 只是放错了位置。所有其他半径都没有 部分）

我会将它们翻译成以下内容（未经测试！）ANTLR 规则：

fragment EXACTNESS
  :  '#i' 
  |  '#e'
  ;

fragment PREFIX_10
  :  RADIX_10 EXACTNESS?
  |  EXACTNESS RADIX_10 // **
  ;

fragment RADIX_10
  :  '#d'
  ;

** 请注意，它不是：

fragment PREFIX_10
  :  RADIX_10 EXACTNESS? // matches '#d'
  |  EXACTNESS? RADIX_10 // matches '#d'
  ;

因为词法分析器不知道通过哪种替代方式来匹配 # d。

如果 的 BNF 规则应该是这样的（即他们忘记放置 |）：

<radix 10>
    ::= <empty> 
      | {#d}

那么 ANTLR PREFIX_10 仍应如下所示：

fragment PREFIX_10
  :  RADIX_10 EXACTNESS?
  |  EXACTNESS RADIX_10
  ;

但使用 PREFIX_10 的所有其他规则应使 PREFIX_10 可选。

华泰