ANTLR：有一个简单的例子吗？

Question

我想开始使用 ANTLR，但在花了几个小时查看 antlr.org 上的示例之后网站上，我仍然无法清楚地了解Java的语法过程。

有没有一些简单的例子，比如用 ANTLR 实现的四操作计算器，遍历解析器定义并一直到 Java 源代码？

Answer 1

注意：此答案适用于ANTLR3！如果您正在寻找ANTLR4示例，那么这个Q&A 演示了如何使用 ANTLR4 创建简单的表达式解析器和求值器。

---

您首先创建一个语法。下面是一个小语法，您可以使用它来计算使用 4 个基本数学运算符构建的表达式：+、-、* 和 /。您还可以使用括号对表达式进行分组。

请注意，此语法只是一个非常基本的语法：它不处理一元运算符（-1+9 中的减号）或像 0.99 这样的小数（没有前导数字），仅举两个缺点。这只是一个示例，您可以自己操作。

以下是语法文件 Exp.g 的内容：

grammar Exp;

/* This will be the entry point of our parser. */
eval
    :    additionExp EOF
    ;

/* Addition and subtraction have the lowest precedence. */
additionExp
    :    multiplyExp 
         ( '+' multiplyExp 
         | '-' multiplyExp
         )* 
    ;

/* Multiplication and division have a higher precedence. */
multiplyExp
    :    atomExp
         ( '*' atomExp 
         | '/' atomExp
         )* 
    ;

/* An expression atom is the smallest part of an expression: a number. Or 
   when we encounter parenthesis, we're making a recursive call back to the
   rule 'additionExp'. As you can see, an 'atomExp' has the highest precedence. */
atomExp
    :    Number
    |    '(' additionExp ')'
    ;

/* A number: can be an integer value, or a decimal value */
Number
    :    ('0'..'9')+ ('.' ('0'..'9')+)?
    ;

/* We're going to ignore all white space characters */
WS  
    :   (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;}
    ;

（解析器规则以小写字母开头，词法分析器规则以大写字母开头）

创建语法后，您可以想要从中生成一个解析器和词法分析器。下载 ANTLR jar 并将其存储在与语法文件相同的目录中。

在 shell/命令提示符下执行以下命令：

java -cp antlr-3.2.jar org.antlr.Tool Exp.g

它不应产生任何错误消息，并且文件 ExpLexer.java、ExpParser.java 和 Exp.tokens 现在应该已生成。

要查看是否一切正常，请创建此测试类：

import org.antlr.runtime.*;

public class ANTLRDemo {
    public static void main(String[] args) throws Exception {
        ANTLRStringStream in = new ANTLRStringStream("12*(5-6)");
        ExpLexer lexer = new ExpLexer(in);
        CommonTokenStream tokens = new CommonTokenStream(lexer);
        ExpParser parser = new ExpParser(tokens);
        parser.eval();
    }
}

并编译它：

// *nix/MacOS
javac -cp .:antlr-3.2.jar ANTLRDemo.java

// Windows
javac -cp .;antlr-3.2.jar ANTLRDemo.java

然后运行它：

// *nix/MacOS
java -cp .:antlr-3.2.jar ANTLRDemo

// Windows
java -cp .;antlr-3.2.jar ANTLRDemo

如果一切顺利，则不会将任何内容打印到控制台。这意味着解析器没有发现任何错误。当你将 "12*(5-6)" 更改为 "12*(5-6" ，然后重新编译并运行它，应该打印以下内容：

line 0:-1 mismatched input '<EOF>' expecting ')'

好的，现在我们想在语法中添加一些 Java 代码，以便解析器实际上执行一些有用的操作，可以通过在语法中放置 { 和 } 来完成添加代码。其中包含一些简单的 Java 代码。

但首先：语法文件中的所有解析器规则都应该返回一个原始的 double 值，您可以通过在每个规则后添加 returns [double value] 来做到这一点：

grammar Exp;

eval returns [double value]
    :    additionExp
    ;

additionExp returns [double value]
    :    multiplyExp 
         ( '+' multiplyExp 
         | '-' multiplyExp
         )* 
    ;

// ...

这几乎不需要。解释：每个规则都应该返回一个 double 值。现在与返回值 double value 进行“交互”（它不在普通的 Java 代码块 {...} 内） code>) 从代码块内部，您需要在 value 前面添加一个美元符号：

grammar Exp;

/* This will be the entry point of our parser. */
eval returns [double value]                                                  
    :    additionExp { /* plain code block! */ System.out.println("value equals: "+$value); }
    ;
    
// ...

这是语法，但现在添加了 Java 代码：

grammar Exp;

eval returns [double value]
    :    exp=additionExp {$value = $exp.value;}
    ;

additionExp returns [double value]
    :    m1=multiplyExp       {$value =  $m1.value;} 
         ( '+' m2=multiplyExp {$value += $m2.value;} 
         | '-' m2=multiplyExp {$value -= $m2.value;}
         )* 
    ;

multiplyExp returns [double value]
    :    a1=atomExp       {$value =  $a1.value;}
         ( '*' a2=atomExp {$value *= $a2.value;} 
         | '/' a2=atomExp {$value /= $a2.value;}
         )* 
    ;

atomExp returns [double value]
    :    n=Number                {$value = Double.parseDouble($n.text);}
    |    '(' exp=additionExp ')' {$value = $exp.value;}
    ;

Number
    :    ('0'..'9')+ ('.' ('0'..'9')+)?
    ;

WS  
    :   (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;}
    ;

并且由于我们的 eval code> 规则现在返回一个双精度值，将 ANTLRDemo.java 更改为：

import org.antlr.runtime.*;

public class ANTLRDemo {
    public static void main(String[] args) throws Exception {
        ANTLRStringStream in = new ANTLRStringStream("12*(5-6)");
        ExpLexer lexer = new ExpLexer(in);
        CommonTokenStream tokens = new CommonTokenStream(lexer);
        ExpParser parser = new ExpParser(tokens);
        System.out.println(parser.eval()); // print the value
    }
}

再次（重新）从语法 (1) 生成新的词法分析器和解析器，编译所有类 (2) 并运行 ANTLRDemo (3)：

// *nix/MacOS
java -cp antlr-3.2.jar org.antlr.Tool Exp.g   // 1
javac -cp .:antlr-3.2.jar ANTLRDemo.java      // 2
java -cp .:antlr-3.2.jar ANTLRDemo            // 3

// Windows
java -cp antlr-3.2.jar org.antlr.Tool Exp.g   // 1
javac -cp .;antlr-3.2.jar ANTLRDemo.java      // 2
java -cp .;antlr-3.2.jar ANTLRDemo            // 3

然后您将现在查看打印到控制台的表达式 12*(5-6) 的结果！

再次强调：这是一个非常简短的解释。我鼓励您浏览 ANTLR wiki 并阅读一些教程和/或玩一下我刚刚发布的内容。

祝你好运！

编辑：

这篇文章展示了如何扩展上面的示例，以便可以提供一个 Map 来保存所提供表达式中的变量。

为了让此代码与当前版本的 Antlr（2014 年 6 月）一起使用，我需要进行一些更改。 ANTLRStringStream 需要变为 ANTLRInputStream，返回值需要从 parser.eval() 更改为 parser.eval().value ，并且我需要删除末尾的 WS 子句，因为不再允许诸如 $channel 之类的属性值出现在词法分析器操作中。

Answer 2

Gabriele Tomassetti 的ANTLR mega教程非常有帮助

它有语法示例，不同语言的访问者示例（ Java、JavaScript、C# 和 Python）以及许多其他东西。强烈推荐。

编辑：Gabriele Tomassetti 关于 ANTLR 的其他有用文章

• 在 C# 中开始使用 ANTLR
• 开始使用 ANTLR
  C++

Answer 3

对于 Antlr 4，java 代码生成过程如下： -

java -cp antlr-4.5.3-complete.jar org.antlr.v4.Tool Exp.g

相应地更新类路径中的 jar 名称。

Answer 4

4.7.1 版本略有不同：
对于导入：

import org.antlr.v4.runtime.*;

对于主要部分 - 请注意 CharStreams：

CharStream in = CharStreams.fromString("12*(5-6)");
ExpLexer lexer = new ExpLexer(in);
CommonTokenStream tokens = new CommonTokenStream(lexer);
ExpParser parser = new ExpParser(tokens);

Answer 5

在 https://github.com/BITPlan/com.bitplan.antlr 您'您将找到一个 ANTLR java 库，其中包含一些有用的帮助器类和一些完整的示例。如果您喜欢 Eclipse 和 Maven，它已经准备好与 Maven 一起使用。

https： //github.com/BITPlan/com.bitplan.antlr/blob/master/src/main/antlr4/com/bitplan/exp/Exp.g4

是一种简单的表达式语言，可以进行乘法和加法运算。
https： //github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestExpParser.java 有相应的单元测试。

https： //github.com/BITPlan/com.bitplan.antlr/blob/master/src/main/antlr4/com/bitplan/iri/IRIParser.g4 是一个 IRI 解析器，已分为三个部分：

1. 解析器语法 词法
2. 分析器语法
3. 导入的 LexBasic 语法

https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestIRIParser.java
有它的单元测试。

就我个人而言，我发现这是最棘手的部分。请参阅 http://wiki.bitplan.com/index.php/ANTLR_maven_plugin

https://github.com/ BITPlan/com.bitplan.antlr/tree/master/src/main/antlr4/com/bitplan/expr

包含另外三个示例，这些示例是针对早期版本中 ANTLR4 的性能问题而创建的。与此同时，这个问题已作为测试用例 https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestIssue994.java 显示。