树顶语法无限循环

Question

我的脑海中浮现出一些关于新编程语言的想法，所以我想尝试一下实现它。一位朋友建议我尝试使用 Treetop（Ruby gem）来创建一个解析器。 Treetop 的文档很少，而且我以前从未做过此类事情。

我的解析器的行为就像它有一个无限循环，但没有堆栈跟踪；事实证明很难追踪。有人能给我指出入门级解析/AST 指南的方向吗？我真的需要一些列出使用 Treetop 等工具的规则、常见用法等的东西。我的解析器语法位于 GitHub 上，以防有人希望提供帮助我改进它。

class {
  initialize = lambda (name) {
    receiver.name = name
  }

  greet = lambda {
    IO.puts("Hello, #{receiver.name}!")
  }
}.new(:World).greet()

Answer 1

我要求treetop 将您的语言编译成.rb 文件。这给了我一些值得深入研究的东西：

$ tt -o /tmp/rip.rb /tmp/rip.treetop

然后我使用这个小存根重新创建循环：

require 'treetop'
load '/tmp/rip.rb'
RipParser.new.parse('')

这挂起了。现在，是不是很有趣！空字符串会重现该行为，就像您问题中的十几行示例一样。

为了找出它挂在哪里，我使用 Emacs 键盘宏来编辑 rip.rb，在每个方法的条目中添加调试语句。例如：

def _nt_root
  p [__LINE__, '_nt_root'] #DEBUG
  start_index = index

现在我们可以看到循环的范围：

[16, "root"]
[21, "_nt_root"]
[57, "_nt_statement"]
...
[3293, "_nt_eol"]
[3335, "_nt_semicolon"]
[3204, "_nt_comment"]
[57, "_nt_statement"]
[57, "_nt_statement"]
[57, "_nt_statement"]
...

从那里进一步调试可以发现整数可以为空字符串：

rule integer
   digit*
end

这间接允许语句为空字符串，并且顶级规则 语句* 永远消耗空语句。将 * 更改为 + 修复了循环，但揭示了另一个问题：

/tmp/rip.rb:777:in `_nt_object': stack level too deep (SystemStackError)
        from /tmp/rip.rb:757:in `_nt_compound_object'
        from /tmp/rip.rb:1726:in `_nt_range'
        from /tmp/rip.rb:1671:in `_nt_special_literals'
        from /tmp/rip.rb:825:in `_nt_literal_object'
        from /tmp/rip.rb:787:in `_nt_object'
        from /tmp/rip.rb:757:in `_nt_compound_object'
        from /tmp/rip.rb:1726:in `_nt_range'
        from /tmp/rip.rb:1671:in `_nt_special_literals'
         ... 3283 levels...

Range 是通过special_literals、literal_object、object 和compound_object 间接左递归的。 Treetop，当面对左递归时，会吃掉堆栈直到它呕吐。我没有快速解决该问题的方法，但至少从现在开始您可以进行堆栈跟踪。

另外，这不是您眼前的问题，但 digit 的定义很奇怪：它可以是一位数字，也可以是多个数字。这会导致 digit* 或 digit+ 允许（可能）非法整数 1________2。

Answer 2

我真的很喜欢 Parr 的语言实现模式；由于 Parr 创建了 ANTLR 解析器生成器，因此这是他在整本书中使用的工具，但它应该是足够简单，仍然可以从中学习。

我真正喜欢它的是每个示例都在前一个示例的基础上发展的方式；他并不是从一个巨大的支持 AST 的解析器开始，而是慢慢地引入需要越来越多的“后端智能”来完成工作的问题，因此这本书可以很好地适应需要解析的语言。

我希望它能更深入地介绍人们可以编写的语言类型，并在设计语言时就“应该做的事情”和“不应该做的事情”提供建议。我见过一些语言解析起来非常困难，我想更多地了解可以做出不同的设计决策。