ANTLR 规则消耗固定数量的字符

Question

我正在尝试为 PHP serialize() 格式编写 ANTLR 语法，除了字符串之外，一切似乎都工作正常。问题在于序列化字符串的格式是：

s:6:"length";

就正则表达式而言，如果仅允许反向引用，则像 s:(\d+):".{\1}"; 这样的规则将描述这种格式在“匹配数”计数中（但事实并非如此）。

但我找不到一种方法来表达词法分析器或解析器语法：整个想法是使读取的字符数取决于描述要读取的字符数的反向引用，如 Fortran Hollerith 常量（即 6HLength），不在字符串分隔符上。

Fortran 的 ANTLR 语法 中的这个示例似乎指明了方向，但是我不明白怎么办。请注意，我的目标语言是 Python，而大多数文档和示例都是针对 Java 的：

// numeral literal
ICON {int counter=0;} :
    /* other alternatives */
    // hollerith
    'h' ({counter>0}? NOTNL {counter--;})* {counter==0}?
      {
      $setType(HOLLERITH);
      String str = $getText;
      str = str.replaceFirst("([0-9])+h", "");
      $setText(str);
      }
    /* more alternatives */
    ;

Answer 1

由于像 s:3:"a"b"; 这样的输入是有效的，因此您无法在词法分析器中定义 String 标记，除非第一个和最后一个双引号是始终字符串的开头和结尾，但我想情况并非如此，

因此，您需要这样的词法分析器规则：

SString
  :  's:' Int ':"' ( . )* '";'
  ;

换句话说：匹配 s:，然后是一个整数值，后跟:"，然后是一个或多个可以是任何内容的字符，以";结尾，但是你需要。告诉词法分析器在未达到 Int 值时停止使用，您可以通过在语法中混合一些纯代码来实现此目的。您可以通过将其包装在 中来嵌入纯代码。 { 和 } 因此，首先将标记 Int 保存的值转换为名为 chars 的整数变量：

SString
  :  's:' Int {chars = int($Int.text)} ':"' ( . )* '";'
  ;

现在在其中嵌入一些代码( . )* 循环在 chars 倒数到零时停止消耗：

SString
  :  's:' Int {chars = int($Int.text)} ':"' ( {if chars == 0: break} . {chars = chars-1} )* '";'
  ;

就是这样

一个小演示语法：

grammar Test;

options {
  language=Python;
}

parse
  :  (SString {print 'parsed: [\%s]' \% $SString.text})+ EOF
  ;

SString
  :  's:' Int {chars = int($Int.text)} ':"' ( {if chars == 0: break} . {chars = chars-1} )* '";'
  ;

Int
  :  '0'..'9'+
  ;

（请注意 。需要转义语法中的 %！）

和一个测试脚本：

import antlr3
from TestLexer import TestLexer
from TestParser import TestParser

input = 's:6:"length";s:1:""";s:0:"";s:3:"end";'
char_stream = antlr3.ANTLRStringStream(input)
lexer = TestLexer(char_stream)
tokens = antlr3.CommonTokenStream(lexer)
parser = TestParser(tokens)
parser.parse()

它会产生以下输出：

parsed: [s:6:"length";]
parsed: [s:1:""";]
parsed: [s:0:"";]
parsed: [s:3:"end";]