解析模板语言

Question

我正在尝试解析模板语言，但无法正确解析标签之间出现的任意 html。到目前为止我所拥有的如下，有什么建议吗？有效输入的一个例子是

{foo}{#bar}blah blah blah{zed}{/bar}{>foo2}{#bar2}This Should Be Parsed as a Buffer.{/bar2}

语法是：

grammar g;

options {
  language=Java;
  output=AST;
  ASTLabelType=CommonTree;
}

/* LEXER RULES */
tokens {

}

LD  :    '{';
RD  :    '}';
LOOP    :    '#';  
END_LOOP:   '/';
PARTIAL :   '>';
fragment DIGIT  : '0'..'9';
fragment LETTER : ('a'..'z' | 'A'..'Z');
IDENT : (LETTER | '_') (LETTER | '_' | DIGIT)*;
BUFFER options {greedy=false;} : ~(LD | RD)+ ;

/* PARSER RULES */
start   : body EOF
;

body    : (tag | loop | partial | BUFFER)*
;

tag     : LD! IDENT^ RD!
;

loop    : LD! LOOP^ IDENT RD!
  body
  LD! END_LOOP! IDENT RD!
;

 partial : LD! PARTIAL^ IDENT RD!
;

buffer  : BUFFER 
;

Answer 1

您的词法分析器独立于解析器进行标记。如果您的解析器尝试匹配 BUFFER 标记，则词法分析器不会考虑此信息。在您的情况下，输入如下：“blah blah blah”，词法分析器创建 3 个 IDENT 令牌，而不是单个 BUFFER 令牌。

您需要“告诉”词法分析器的是，当您位于标签内时（即遇到 LD 标签），应创建一个 IDENT 令牌，并且当如果您位于标签之外（即遇到 RD 标签），则应创建 BUFFER 令牌而不是 IDENT 令牌。

为了实现这一点，您需要：

1. 在词法分析器内创建一个 boolean 标志，用于跟踪您位于标签内或标签外的事实。这可以在语法的 @lexer::members { ... } 部分内完成；
2. 在词法分析器创建 LD- 或 RD-token 后，翻转 (1) 中的 boolean 标志。这可以在词法分析器规则的 @after{ ... } 部分中完成；
3. 在词法分析器内创建 BUFFER 标记之前，请检查当前是否位于标记之外。这可以通过使用语义谓词 在词法分析器规则的开头。

一个简短的演示：

grammar g;

options { 
  output=AST;
  ASTLabelType=CommonTree; 
}

@lexer::members {
  private boolean insideTag = false;
}

start   
  :  body EOF -> body
  ;

body
  :  (tag | loop | partial | BUFFER)*
  ;

tag
  :  LD IDENT RD -> IDENT
  ;

loop    
  :  LD LOOP IDENT RD body LD END_LOOP IDENT RD -> ^(LOOP body IDENT IDENT)
  ;

partial 
  :  LD PARTIAL IDENT RD -> ^(PARTIAL IDENT)
  ;

LD @after{insideTag=true;}  : '{';
RD @after{insideTag=false;} : '}';

LOOP     : '#';  
END_LOOP : '/';
PARTIAL  : '>';
SPACE    : (' ' | '\t' | '\r' | '\n') {$channel=HIDDEN;};
IDENT    :  (LETTER | '_') (LETTER | '_' | DIGIT)*;
BUFFER   : {!insideTag}?=> ~(LD | RD)+;

fragment DIGIT  : '0'..'9';
fragment LETTER : ('a'..'z' | 'A'..'Z');

（请注意，您可能想丢弃标记之间的空格，因此我添加了 SPACE 规则并丢弃了这些空格）

以下类进行测试：

import org.antlr.runtime.*;
import org.antlr.runtime.tree.*;
import org.antlr.stringtemplate.*;

public class Main {
  public static void main(String[] args) throws Exception {
    String src = "{foo}{#bar}blah blah blah{zed}{/bar}{>foo2}{#bar2}" + 
                 "This Should Be Parsed as a Buffer.{/bar2}";
    gLexer lexer = new gLexer(new ANTLRStringStream(src));
    gParser parser = new gParser(new CommonTokenStream(lexer));
    CommonTree tree = (CommonTree)parser.start().getTree();
    DOTTreeGenerator gen = new DOTTreeGenerator();
    StringTemplate st = gen.toDOT(tree);
    System.out.println(st);
  }
}

使用 运行主类：

*nix/MacOS

java -cp antlr-3.3.jar org.antlr.Tool g.g 
javac -cp antlr-3.3.jar *.java
java -cp .:antlr-3.3.jar Main

Windows

java -cp antlr-3.3.jar org.antlr.Tool g.g 
javac -cp antlr-3.3.jar *.java
java -cp .;antlr-3.3.jar Main

您将看到一些 DOT 源代码被打印到控制台，它对应于以下 AST：

（使用 graphviz-dev.appspot.com 创建的图像）