pyparsing、前向和递归

Question

我正在使用 pyparsing 来解析 vcd（值更改转储）文件。本质上，我想读入文件，将其解析为内部字典，并操作这些值。

在不详细了解结构的情况下，我的问题发生在识别嵌套类别上。

在 vcd 文件中，您有“范围”，其中包括电线和可能一些更深（嵌套）的范围。将它们想象成级别。

所以在我的文件中，我有：

$scope module toplevel $end
$scope module midlevel $end
$var wire a $end
$var wire b $end
$upscope $end
$var wire c $end
$var wire d $end
$var wire e $end
$scope module extralevel $end
$var wire f $end
$var wire g $end
$upscope $end
$var wire h $end
$var wire i $end
$upscope $end

所以“toplevel”包含所有内容（a - i），“midlevel”包含（a - b），“extralevel”包含（f - g）等。

这是我的代码（片段）解析本节：

scope_header = Group(Literal('$scope') + Word(alphas) + Word(alphas) + \
                     Literal('$end'))

wire_map = Group(Literal('$var') + Literal('wire') + Word(alphas) + \
                 Literal('$end'))

scope_footer = Group(Literal('$upscope') + Literal('$end'))

scope = Forward()
scope << (scope_header + ZeroOrMore(wire_map) + ZeroOrMore(scope) + \
          ZeroOrMore(wire_map) + scope_footer)

现在，我认为发生的是，当它到达每个作用域时，它将跟踪每个“级别”，并且我最终会得到一个包含嵌套作用域的结构。但是，它错误地

$scope module extralevel $end

表示需要“$upscope”。

所以我知道我没有正确使用递归。有人可以帮我吗？如果我需要提供更多信息，请告诉我。

谢谢！！！！

Answer 1

根据您的定义，一个范围不能包含另一个范围，后跟一些映射，后跟另一个范围。

如果解析器具有打印其解析树的调试模式，您将能够立即看到这一点。但简而言之，你是说有零个或多个映射，后跟零个或多个范围，后跟零个或多个映射，所以如果有一个范围，后跟一个映射，那么你已经通过了范围字段，所以任何更多的范围都无效。如果 pyparsing 使用的语言支持“或”，您可以使用：

scope << (scope_header + ZeroOrMore((wire_map | scope)) + scope_footer)

Answer 2

请选择@ZackBloom 的答案作为正确的答案，他立刻凭直觉就知道了，甚至不知道 pyparsing 的语法。

关于您的语法的一些评论/建议：

根据上面发布的答案，您可以在 ParseResults 上使用 pprint 和 pyparsing 的 asList() 方法可视化嵌套：

res = scope.parseString(vcd)

from pprint import pprint
pprint(res.asList())

给出：

[[['$scope', 'module', 'toplevel', '$end'],
  [['$scope', 'module', 'midlevel', '$end'],
   ['$var', 'wire', 'a', '$end'],
   ['$var', 'wire', 'b', '$end'],
   ['$upscope', '$end']],
  ['$var', 'wire', 'c', '$end'],
  ['$var', 'wire', 'd', '$end'],
  ['$var', 'wire', 'e', '$end'],
  [['$scope', 'module', 'extralevel', '$end'],
   ['$var', 'wire', 'f', '$end'],
   ['$var', 'wire', 'g', '$end'],
   ['$upscope', '$end']],
  ['$var', 'wire', 'h', '$end'],
  ['$var', 'wire', 'i', '$end'],
  ['$upscope', '$end']]]

所以现在您有了结构良好的结果。但你可以稍微清理一下。一方面，现在您已经有了结构，您实际上并不需要所有这些 $scope、$end 等标记。当然，您可以在浏览解析结果时跳过它们，但也可以让 pyparsing 将它们从解析输出中删除（因为结果现在是结构化的，所以您不会真正丢失任何内容）。将解析器定义更改为：（

SCOPE, VAR, UPSCOPE, END = map(Suppress, 
                                 "$scope $var $upscope $end".split())
MODULE, WIRE = map(Literal, "module wire".split())

scope_header = Group(SCOPE + MODULE + Word(alphas) + END)
wire_map = Group(VAR + WIRE + Word(alphas) + END) 
scope_footer = (UPSCOPE + END) 

不需要对 scope_footer 进行分组 - 该表达式中的所有内容都被抑制，因此 Group 只会给您一个空列表。）

现在您可以看到更清楚地说明真正重要的部分：

[[['module', 'toplevel'],
  [['module', 'midlevel'], ['wire', 'a'], ['wire', 'b']],
  ['wire', 'c'],
  ['wire', 'd'],
  ['wire', 'e'],
  [['module', 'extralevel'], ['wire', 'f'], ['wire', 'g']],
  ['wire', 'h'],
  ['wire', 'i']]]

冒着分组过多的风险，我建议也对 scope 表达式的内容进行分组，如下所示：

scope << Group(scope_header + 
               Group(ZeroOrMore((wire_map | scope))) + 
               scope_footer) 

这会给出以下结果：

[[['module', 'toplevel'],
  [[['module', 'midlevel'], [['wire', 'a'], ['wire', 'b']]],
   ['wire', 'c'],
   ['wire', 'd'],
   ['wire', 'e'],
   [['module', 'extralevel'], [['wire', 'f'], ['wire', 'g']]],
   ['wire', 'h'],
   ['wire', 'i']]]]

现在，每个范围结果都有 2 个可预测的元素：模块头和电线或子范围列表。这种可预测性将使编写导航结果的递归代码变得更加容易：

res = scope.parseString(vcd)
def dumpScope(parsedTokens, indent=''):
    module,contents = parsedTokens
    print indent + '- ' + module[1]
    for item in contents:
        if item[0]=='wire':
            print indent + '  wire: ' + item[1]
        else:
            dumpScope(item, indent+'  ')
dumpScope(res[0])

结果看起来像：

- toplevel
  - midlevel
    wire: a
    wire: b
  wire: c
  wire: d
  wire: e
  - extralevel
    wire: f
    wire: g
  wire: h
  wire: i

好第一个问题，欢迎来到 SO 和 pyparsing！