Lexer 和 unicode，例如德语变异元音

Question

两个问题：
1. 为什么下面的语法无法识别字符串abäcd（ANTLRWorks 1.4.2）（结果只有abcd，即德语变异元音ä缺少）？
2. 如何将Vowels分为VowelsUpper和VowelsLower并在规则Vowels中使用这两个规则？

grammar Vowels1a;

CharLower
  : 'a'..'z'
  ;

Vowels
  : 'ä' | 'ö' | 'ü' | 'Ä'| 'Ö' | 'Ü'
  ;

test
  : ( CharLower | Vowels )+
  ;

Answer 1

ANTLRStarter 写道：

1.为什么下面的语法无法识别字符串 abäcd（ANTLRWorks 1.4.2）（结果只有 abcd，这意味着德语变异元音 ä 丢失了？

我无法重现这一点。ANTLRWorks 的解释器和调试器（1.4.2） ）产生以下解析树：

并且一个小的手动测试也显示this:

Main.java

import org.antlr.runtime.*;

public class Main {
  public static void main(String[] args) throws Exception {
    Vowels1aLexer lexer = new Vowels1aLexer(new ANTLRStringStream("abäcd"));
    Vowels1aParser parser = new Vowels1aParser(new CommonTokenStream(lexer));
    parser.test();
  }
}

Vowels1a.g

grammar Vowels1a;

test
 : ( CharLower {System.out.println("CharLower :: " + $CharLower.text);}
   | Vowels    {System.out.println("Vowels    :: " + $Vowels.text);}
   )+
 ;

CharLower
 : 'a'..'z'
 ;

Vowels
 : 'ä' | 'ö' | 'ü' | 'Ä'| 'Ö' | 'Ü'
 ;

并运行演示：

java -cp antlr-3.3.jar org.antlr.Tool Vowels1a.g 
javac -cp antlr-3.3.jar *.java
java -cp .:antlr-3.3.jar Main

它将打印：

CharLower :: a
CharLower :: b
Vowels    :: ä
CharLower :: c
CharLower :: d

ANTLRStarter 写道：

2.如何在 VowelsUpper 和 VowelsLower 中划分元音并在规则元音中使用这两个规则？

创建两个 fragment 规则（VowelsUpper 和 VowelsLower），并让 Vowels 匹配这两个 fragment >s：

Vowels
 : VowelsUpper
 | VowelsLower
 ;

fragment VowelsUpper
 : 'Ä'| 'Ö' | 'Ü'
 ;

fragment VowelsLower
 : 'ä' | 'ö' | 'ü'
 ;

请注意，您不能在解析器规则中使用 fragment 规则，只能从其他词法分析器规则中使用！

Answer 2

关于问题1：
这听起来很像编码问题。 “61 62 E4 63 64”表示该文件是使用 iso-8859-1（或 windows-something 变体）编码的。 ANTLRWorks 似乎使用 utf-8，我认为没有明显的方法可以改变它。

我假设您使用该文件作为输入运行调试器。将文件保存为 utf-8 时，它对我来说工作正常，而使用 iso-8859-1 时，缺少“ä”。我无法重现 ANTLRWorks 1.4.3 中的 NoViableAlt 错误，输入流中似乎缺少“ä” - 也许 java 的 utf8 解码器默默地跳过无效序列...

如果您构建自己的应用程序，您可以自己指定哪种编码输入流/文件使用。因此，在 Python 中，ANTLRFileStream/ANTLRInputStream 有一个方便的“编码”参数。