我可以使用 Antlr 创建的词法分析器/解析器来解析 PDDL 文件并将数据返回到 Java 程序吗？

Question

我是 Antlr 的新手，但以前使用过 Flex/Bison。我想知道我想使用 Antlr 做的事情是否可行。

我想使用 Antlr 解析 PDDL 文件，并在解析 PDDL 文件时编写的 Java 类中构建我自己的 PDDL 文件内容表示（在规则的操作中？）。文件解析完成后，我想将文件内容的对象表示返回给 Java 程序以运行其他操作。

因此，本质上，我想从 Java 程序内部对 PDDL 文件调用 Antler 生成的 PDDL 解析器，并让它返回一个描述 PDDL 文件的对象给主 Java 程序。

这可能吗？我尝试查看文档，但没有找到好的答案。

非常感谢。

Answer 1

本质上，我想从 Java 程序内部对 PDDL 文件调用 Antler 生成的 PDDL 解析器，并让它返回一个向主 Java 程序描述 PDDL 文件的对象。

这可能吗？

当然。

首先，您需要在（ANTLR）语法文件中描述您的语言。最简单的方法是使用组合语法来做到这一点。组合语法将为您的语言创建词法分析器和解析器。当语言变得更加复杂时，最好将这两个文件分开，但一开始，只使用一个（组合的）语法文件会更容易。

假设 PDDL 语言只是一种简单的语言：它是一系列由空格分隔的十六进制 (0x12FD)、八进制 (0745) 或十进制 (12345) 表示法的数字。这种语言可以在以下名为 PDDL.g 的 ANTLR 语法文件中进行描述：

grammar PDDL;

parse
  :  number+ EOF
  ;

number
  :  Hex
  |  Dec
  |  Oct
  ;

Hex
  :  '0' ('x' | 'X') ('0'..'9' | 'a'..'f' | 'A'..'F')+
  ;

Dec
  :  '0'
  |  '1'..'9' ('0'..'9')*
  ;

Oct
  :  '0' '0'..'7'+
  ;

Space
  :  (' ' | '\t' | '\r' | '\n'){$channel=HIDDEN;}
  ;

在该语法中，以大写字母开头的规则（解析、数字、十六进制……是规则）是词法分析器：规则。其他的是解析器规则。

根据此语法，您可以创建如下所示的词法分析器和解析器：

java -cp antlr-3.2.jar org.antlr.Tool PDDL.g

它（至少）生成文件 PDDLParser.java 和 PDDLLexer.java。

现在创建一个小测试类，您可以在其中使用这些词法分析器和解析器类：

import org.antlr.runtime.*;
import java.io.*;
import java.util.*;

public class Main {
    public static void main(String[] args) throws Exception {
        File source = new File("source.txt");
        ANTLRInputStream in = new ANTLRInputStream(new FileInputStream(source));
        PDDLLexer lexer = new PDDLLexer(in);
        CommonTokenStream tokens = new CommonTokenStream(lexer);
        PDDLParser parser = new PDDLParser(tokens);
        parser.parse();
    }
}

其中 source.txt 文件的内容可能如下所示：

0xcAfE 0234
66678 0X12 0777

现在编译所有 .java files:

javac -cp antlr-3.2.jar *.java

并运行主类：

// Windows
java -cp .;antlr-3.2.jar Main

// *nix/MacOS
java -cp .:antlr-3.2.jar Main

如果一切顺利，控制台上不会打印任何内容。

现在您说您想让解析器根据源文件的内容返回某些对象。假设我们希望语法返回一个 List。这可以通过在语法规则中嵌入“动作”来完成，如下所示：

grammar PDDL;

parse returns [List<Integer> list]
@init{$list = new ArrayList<Integer>();}
  :  (number {$list.add($number.value);})+ EOF
  ;

number returns [Integer value]
  :  Hex {$value = Integer.parseInt($Hex.text.substring(2), 16);}
  |  Dec {$value = Integer.parseInt($Dec.text);}
  |  Oct {$value = Integer.parseInt($Oct.text, 8);}
  ;

Hex
  :  '0' ('x' | 'X') ('0'..'9' | 'a'..'f' | 'A'..'F')+
  ;

Dec
  :  '0'
  |  '1'..'9' ('0'..'9')*
  ;

Oct
  :  '0' '0'..'7'+
  ;

Space
  :  (' ' | '\t' | '\r' | '\n'){$channel=HIDDEN;}
  ;

如您所见，您可以让规则返回对象（返回 [Type t]），并且如果包装它，则可以嵌入纯 Java 代码在 { 和 } 中。 parse 规则中的 @init 部分放置在 PDDLParser.java 中 parse 方法的开头文件。

使用此类测试新的解析器：

import org.antlr.runtime.*;
import java.io.*;
import java.util.*;

public class Main {
    public static void main(String[] args) throws Exception {
        File source = new File("source.txt");
        ANTLRInputStream in = new ANTLRInputStream(new FileInputStream(source));
        PDDLLexer lexer = new PDDLLexer(in);
        CommonTokenStream tokens = new CommonTokenStream(lexer);
        PDDLParser parser = new PDDLParser(tokens);
        List<Integer> numbers = parser.parse();
        System.out.println("After parsing :: "+numbers);
    }
}

您将看到以下内容打印到控制台：

After parsing :: [51966, 156, 66678, 18, 511]

Answer 2

这当然是可能的，因为 Antlr 被设计为生成解析器，然后将其作为更大系统（例如编译器或静态代码分析器）的一部分进行调用。

从 Terence Parr 的权威 Antlr 参考：构建特定领域语言开始。他是 Antlr 的作者，也是一位异常清晰、没有行话的语言处理老师。

Martin Fowler 的特定领域语言在许多示例中使用了 Antlr。例如，在第 200 页，他展示了一个简单的“Hello World”示例，其中 Java 程序调用 Antlr 来解析要问候的人员文件，并在执行此操作时发出问候语。这里是完成工作的地方（第 206 页）：

class GreetingsLoader. ..
  public void run() {
    try {
      GreetingsLexer lexer = new GreetingsLexer(new ANTLRReaderStream(input));
      GreetingsParser parser = new GreetingsParser(new CommonTokenStream(lexer));
      parser.helper = this;
      parser.script() ;
      if (hasErrors() ) throw new RuntimeException("it all went pear-shaped\n" +
 errorReport() ) ;
    } catch (IOException e) {
      throw new RuntimeException( e) ;
    } catch (RecognitionException e) {
      throw new RuntimeException( e) ;
    }
  }

第三本好书是 Terence 的关于 DSL 的新书 语言实现模式。他描述了使用 Antlr 的各种方法，例如编写一个抽象语法树生成器以放入编译器中。