Ruby：评论是代币吗？

Question

我刚刚读过这里（http://ruby.runpaint.org/programs#lexical）评论是令牌。我从未将注释视为标记，因为它们要么是注释，要么是后处理器的。

评论真的是象征性的还是这个来源是错误的？

Answer 1

是的，它们应该是标记，但稍后会被解析器忽略。如果您对如下所示的文件执行 ruby​​ --dump parsetree foo.rb ，

# this is a comment
1+1
# another comment

您将得到以下结果：

# @ NODE_SCOPE (line: 3)
# +- nd_tbl: (empty)
# +- nd_args:
# |   (null node)
# +- nd_body:
#     @ NODE_CALL (line: 2)
#     +- nd_mid: :+
#     +- nd_recv:
#     |   @ NODE_LIT (line: 2)
#     |   +- nd_lit: 1
#     +- nd_args:
#         @ NODE_ARRAY (line: 2)
#         +- nd_alen: 1
#         +- nd_head:
#         |   @ NODE_LIT (line: 2)
#         |   +- nd_lit: 1
#         +- nd_next:
#             (null node)

Answer 2

是的，它们是解析器的标记。通常，如果您使用解析器生成器，这就是注释的定义

{code} short_comment = '//' not_cr_lf* eol | '#' not_cr_lf* eol;
{code} long_comment = '/*' not_star* '*'+ (not_star_slash not_star* '*'+)* '/';  /* '4vim */
Ignored Tokens
  short_comment,
  long_comment;

。这是 SableCC 语法。它们通常是被忽略的标记。

请记住，您在源代码中编写的所有内容都是一个令牌，这始终是第一步。解析器需要开始从标记构建抽象语法树。