Antlr 中具有固定节点而不是错误节点的 AST

Question

我有一个 antlr 生成的 Java 解析器，它使用 C 目标，并且运行得很好。问题是我还希望它能够解析错误代码并生成有意义的 AST。如果我向它提供一个最小的 Java 类，其中包含一次导入，之后缺少分号，它会生成两个“树错误节点”对象，其中应包含“导入”标记和导入类的标记。

但由于它正确解析以下代码并为此代码生成正确的节点，因此必须通过添加分号或重新同步来从错误中恢复。有没有办法让antlr反映它在AST内部产生的固定输入？或者我至少可以以某种方式获得产生“树节点错误”的标记/文本吗？

在 C 目标中 antlr3commontreeadaptor.c 在第 200 行左右，以下片段表明 C 目标到目前为止仅创建虚拟错误节点：

static  pANTLR3_BASE_TREE
errorNode                               (pANTLR3_BASE_TREE_ADAPTOR adaptor,   pANTLR3_TOKEN_STREAM ctnstream, pANTLR3_COMMON_TOKEN startToken, pANTLR3_COMMON_TOKEN stopToken, pANTLR3_EXCEPTION e)
{
    // Use the supplied common tree node stream to get another tree from the factory
    // TODO: Look at creating the erronode as in Java, but this is complicated by the
    // need to track and free the memory allocated to it, so for now, we just
    // want something in the tree that isn't a NULL pointer.
    //
    return adaptor->createTypeText(adaptor, ANTLR3_TOKEN_INVALID, (pANTLR3_UINT8)"Tree Error Node");
}

我在这里运气不好吗？只有 Java 目标生成的错误节点才允许我检索错误节点的文本？

Answer 1

我没有太多使用antlr，但通常处理此类错误的方式是添加匹配错误语法的规则，使它们产生错误节点，并在错误后尝试修复，以便可以继续解析。事后修复是一个问题，因为您不希望一个错误为每个新令牌触发越来越多的错误，直到最后。

Answer 2

我通过向语法中添加新的替代规则来解决所有可能的错误语句，从而解决了这个问题。

每个 Java import 语句都会被转换为一个 AST 子树，例如以人工符号 IMPORT 作为根。为了确保我可以区分 AST 与正确代码和错误代码，错误语句的规则将它们重写为带有前缀 ERR_ 的根符号的 AST，因此在导入语句的示例中，人工根符号将为 ERR_IMPORT。

可以使用更多不同的根符号来编码有关解析错误的更详细信息。

我的解析器现在具有我需要的容错能力，并且每当我需要时，都可以很容易地为新类型的错误输入添加规则。不过，你必须注意不要在语法中引入任何歧义。