识别缩进块的词法分析器

Question

我想为一种用空格表示程序块的语言编写一个编译器，就像Python一样。我更喜欢在 Python 中执行此操作，但 C++ 也是一种选择。是否有一个开源词法分析器可以帮助我轻松完成此操作，例如通过像 Python 词法分析器一样正确生成 INDENT 和 DEDENT 标识符？相应的解析器生成器将是一个优点。

Answer 1

LEPL 是纯Python，支持越位解析。

Answer 2

如果您使用像 lex 这样的东西，您可以这样做：

^[ \t]+              { int new_indent = count_indent(yytext);
                       if (new_indent > current_indent) {
                          current_indent = new_indent;
                          return INDENT;
                       } else if (new_indent < current_indent) {
                          current_indent = new_indent;
                          return DEDENT;
                       }
                       /* Else do nothing, and this way
                          you can essentially treat INDENT and DEDENT
                          as opening and closing braces. */
                     }

您可能需要一些额外的逻辑，例如忽略空行，并在需要时自动在文件末尾添加 DEDENT。

据推测， count_indent 会考虑根据制表位值将制表符转换为空格。

我不知道 Python 的词法分析器/解析器生成器，但我发布的内容应该与 lex/flex 一起使用，并且您可以将其连接到 yacc/bison 来创建解析器。您可以使用 C 或 C++ 来处理它们。