PLY：C 解析器中的令牌转移问题

Question

我正在使用 PLY 编写一个 C 解析器，最近遇到了一个问题。 此代码：

typedef int my_type;
my_type x;

是正确的 C 代码，因为 my_type 之前被定义为类型 被这样使用。 我通过在中填充类型符号表来处理它 词法分析器使用解析器来区分类型和 简单的标识符。

然而，虽然类型声明规则以 SEMI（“;”标记）结尾，但 PLY 在决定第一行完成之前会从第二行转移标记 my_type。 因此，我没有机会将类型符号表中的更新传递给词法分析器，它 将 my_type 视为标识符而不是类型。

有解决办法吗？

完整代码位于：http://code。 google.com/p/pycparser/source/browse/trunk/src/c_parser.py 不知道如何创建一个更小的例子。

编辑：

问题已解决。 请参阅下面我的解决方案。

Answer 1

不知道为什么你要在词法分析器中进行这种级别的分析。

词法分析可能应该用于将输入流分离为词法标记（数字、换行、关键字等）。 解析阶段应该进行该级别的分析，包括 typedef 的表查找等。

这就是我一直在我选择的工具 lexx 和 yacc 之间划分职责的方式。

Answer 2

使用 来自 Dave Beazley（PLY 的创建者）的一些帮助，我的问题得到了解决。

这个想法是使用特殊的子规则并在其中执行操作。 就我而言，我将 declaration 规则拆分为：

def p_decl_body(self, p):
    """ decl_body : declaration_specifiers init_declarator_list_opt
    """
    # <<Handle the declaration here>>        

def p_declaration(self, p):
    """ declaration : decl_body SEMI 
    """
    p[0] = p[1]

在 SEMI 移入后，decl_body 始终在令牌之前减少，因此我的操作会在正确的时间执行。

Answer 3

我认为您需要将 ID 是否为 TYPEID 的检查从 c_lexer.py 移至 c_parser.py。

正如您所说，由于解析器正在向前查找 1 个标记，因此您无法在词法分析器中做出该决定。

相反，更改解析器来检查 ID，以查看它们是否是声明中的 TYPEID，如果不是，则生成错误。

正如 Pax Diablo 在他的出色回答中所说，词法分析器/标记器的工作不是做出有关标记的此类决定。 这就是解析器的工作。