ANTLR：获取代币名称？

Question

我有一个语法规则，

OR
    : '|';

但是当我使用打印 AST 时，

public static void Preorder(ITree tree, int depth)
{
    if (tree == null)
    {
        return;
    }

    for (int i = 0; i < depth; i++)
    {
        Console.Write("  ");
    }

    Console.WriteLine(tree);

    for(int i=0; i<tree.ChildCount; ++i)
        Preorder(tree.GetChild(i), depth + 1);
}

（感谢 Bart）它显示实际的| 字符。有没有办法让它说“OR”？

Answer 1

罗伯特启发了这个答案。

if (ExpressionParser.tokenNames[tree.Type] == tree.Text)
    Console.WriteLine(tree.Text);
else
    Console.WriteLine("{0} '{1}'", ExpressionParser.tokenNames[tree.Type], tree.Text);

Answer 2

几周前我必须使用 Python ANTLR 来完成此操作。它对你没有多大帮助，但可能会帮助其他人寻找答案。

对于 Python ANTLR，标记类型是整数。令牌文本包含在令牌对象中。这是我使用的解决方案：

import antlrGeneratedLexer

token_names = {}
for name, value in antlrGeneratedLexer.__dict__.iteritems():
    if isinstance(value, int) and name == name.upper():
        token_names[value] = name

令牌的编号没有明显的逻辑（至少使用Python ANTLR），并且令牌名称不存储为字符串，除了模块__dict__之外，所以这是接触他们的唯一方法。

我猜想在 C# 中标记类型位于枚举中，并且我相信枚举可以作为字符串打印。但这只是一个猜测。

Answer 3

天哪，我花了太多时间把头撞在墙上试图弄清楚这个问题。 Mark 的回答给了我所需的提示，看起来下面的代码将从 Antlr 4.5 中的 TerminalNode 获取令牌名称：

myLexer.getVocabulary.getSymbolicName(myTerminalNode.getSymbol.getType)

或者在 C# 中：（

myLexer.Vocabulary.GetSymbolicName(myTerminalNode.Symbol.Type)

看起来您实际上可以从解析器或词法分析器获取词汇表。）

这些词汇方法似乎是 Antlr 4.5 中获取令牌的首选方式，而 tokenNames 似乎已被弃用。

对于我认为非常基本的操作来说，它确实看起来不必要地复杂，所以也许有一种更简单的方法。

Answer 4

我是 Antlr 的新手，但似乎 ITree 没有直接义务与 Parser （在 .NET 中）相关。相反，有一个派生接口IParseTree，从Parser（在Antlr4中）返回，并且它包含一些附加方法，包括覆盖：

string ToStringTree(Parser parser);

它将整个节点子树转换为文本表示。对于某些情况它是有用的。如果您只想查看某个具体节点的名称而不包含其子节点，请在类 Trees 中使用静态方法：

public static string GetNodeText(ITree t, Parser recog);

此方法与 Mark 和 基本相同罗伯特建议，但以更普遍和灵活的方式。

Answer 5

除了罗伯特的Pythonic答案（希望对其他语言有用）：

如果使用生成的词法分析器的 nextToken() 方法，您可以使用词法分析器的“type”属性（不是令牌，不够直观）来获取词法分析器赋予标记类型的数字代码。在词法分析器本身中，您可以看到哪种类型获得哪个数字。希望这有帮助。