如何在JavaCC中支持西里尔字母？

Question

我可以为 *.jjt 文件制作西里尔字母标记吗？

例如，jjt 中给出了标记：

TOKEN : /* LITERALS */
{
    < TEST: "тест" >
|   < DEVELOP: "разработка" >
}

但是 jj 文件中的标记看起来很糟糕：

TOKEN : /* LITERALS */
{
    < TEST: "\u0421\u201a\u0420\u00b5\u0421\u0403\u0421\u201a" >
|   < DEVELOP: "\u0421\u0402\u0420\u00b0\u0420\u00b7\u0421\u0402\u0420\u00b0\u0420\u00b1\u0420\u0455\u0421\u201a\u0420\u0454\u0420\u00b0" >
}

使用以下选项：

options {
  JDK_VERSION = "1.6";
  UNICODE_INPUT = true;
  JAVA_UNICODE_ESCAPE = false;
  TRACK_TOKENS=true;
  STATIC=false;
}

如果我在她的类的帮助下进行 Unicode：

class GetUnicode {
  public static void main(String[] args) {
      if (args.length < 1) return;
      for (String input: args) {
        for (int index = 0; index < input.length(); ++index) {
            final char c = input.charAt(index); 
            final String s = String.format ("\\u%04x", (int)c);
            System.out.print(s);
        }
        System.out.println();
      }
  }
}

程序启动后：

$ java GetUnicode тест разработка                                                                                                                                                                                       
\u0442\u0435\u0441\u0442
\u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u043a\u0430

结果，我可以看到 unicode字符串不匹配。 例如：

"\u0442\u0435\u0441\u0442" != "\u0421\u201a\u0420\u00b5\u0421\u0403\u0421\u201a"

您知道为什么会发生这种情况吗？

PS：这个bug只发生在Windows操作系统下。

Answer 1

.jj 文件是使用转义的西里尔字符 (Unicode) 生成的。这是一件好事，因为它们不会因为使用错误的编码而被误读。你不应该担心它；令牌管理器将正常工作。