如何使用 Ragel 正确扫描标识符

Question

我正在尝试为我出于个人原因设计的类似 C/C++/C#/Java/D 的编程语言编写一个扫描器。对于此任务，我使用 Ragel 来生成我的扫描仪。我无法准确理解许多运算符何时触发操作，可能是因为我的学术重点是实践知识而不是理论，并且大量这种非确定性/确定性有限自动机业务超出了我的理解范围。我发现要么缺乏文档，要么缺乏我对它的理解。我假设是后者。

无论如何，我正在从基础开始努力。我在第一次迭代中确定了几个关键字和特殊字符。现在我遇到了所有关键字都被扫描为标识符的问题。我对所有关键字使用扫描仪运算符，因为这解决了字符串 returns 被扫描为 return 和 returns 的问题> 关键字。

如何正确扫描标识符？我知道，为了使这一确定性，我需要有效地指定词素只能是一个标识符（如果它与其他标记的模式不匹配）。原谅我的知识匮乏。

拉格尔脚本：

%%{
    Identifier = (alpha | '_') . (alnum | '_')*;
    action IdentifierAction
    {
        std::cout << "identifier(\"";
        std::cout.write(ts, te - ts);
        std::cout << "\")";
    }
}%%

%%{
    main :=
    |*
        Interface => InterfaceAction;
        Class => ClassAction;
        Property => PropertyAction;
        Function => FunctionAction;
        TypeQualifier => TypeQualifierAction;
        OpenParenthesis => OpenParenthesisAction;
        CloseParenthesis => CloseParenthesisAction;
        OpenBracket => OpenBracketAction;
        CloseBracket => CloseBracketAction;
        OpenBrace => OpenBraceAction;
        CloseBrace => CloseBraceAction;
        Semicolon => SemicolonAction;
        Returns => ReturnsAction;
        Return => ReturnAction;
        Identifier => IdentifierAction;
        space+;
    *|;
}%%

Answer 1

不熟悉 Ragel，但是，已经完成了一些自定义解析器和扫描仪。

您的问题似乎更多地与检测关键字相关，而不是检测通用标识符。

您有规则告诉 Ragel 检测代码何时为数字、“return”关键字、分号、“returns”关键字、标识符等。不过，可以为每个关键字制定规则，但我不推荐。

我从经验中学到的是，最好阅读所有关键字显式地作为标识符（分配通用“标识符”标记），并在 C/C++ 代码的某些部分中检测哪些标识符是“关键词”。

换句话说。 Ragel 将仅检测标识符。 “myvar”、“return”和“returns”都将被标记为“标识符”。稍后，在语义操作的代码中（C/C++ 而不是 Ragel），您将检查每个标识符，并检测是否是 C/C++ 中的关键字。这通常是通过关键字列表来完成的。

我认为它会是这样的：

%%{
Identifier = (alpha | '_') . (alnum | '_')*;
action IdentifierAction
{
    String Keywords[] = 
    (
       "return",
       "if",
       "else"
    ); 

    String MyIdentifier = te - ts;
    if (SearchKeywordCode(Keywords, MyIdentifier)) {
      std::cout << "keyword(\"";
      std::cout.write(ts, te - ts);
      std::cout << "\")";
    }
    else {
      std::cout << "identifier(\"";
      std::cout.write(ts, te - ts);
      std::cout << "\")";
    }
}
}%%

所以，没有“返回”或“返回”规则，只有“标识符”。