为什么 flex/bison 中的多行注释如此回避？

Question

我正在尝试解析我的 flex (.l) 文件中的 C 风格多行注释：

%s ML_COMMENT
%%

...

<INITIAL>"/*"                   BEGIN(ML_COMMENT);
<ML_COMMENT>"*/"                BEGIN(INITIAL);  
<ML_COMMENT>[.\n]+              { }

我没有返回任何标记，并且我的语法 (.y) 没有以任何方式处理注释。

当我运行可执行文件时，出现解析错误：（

$ ./a.out
/*
abc 
def
Parse error: parse error
$ echo "/* foo */" | ./a.out
Parse error: parse error

我的 yyerror 函数执行 printf("Parse error: %s\n")，这是冗余错误消息的前半部分的来源）。

我可以明白为什么第二个示例失败，因为整个输入都是注释，并且由于语法忽略了注释，因此没有语句。因此输入不是有效的程序。但在我完成评论之前，第一部分就抛出了解析错误。

同样令人困惑的是：

$ ./a.out
/* foo */
a = b;
Parse error: parse error

在这种情况下，注释在实际有效输入之前关闭（如果没有注释，则可以很好地解析）。失败实际上发生在解析“a”之后，而不是尝试解析赋值“a = b;”之后。如果我在自己的行中输入“a”，它仍然会抛出错误。

鉴于错误消息是解析器错误而不是扫描仪错误，我的 .y 文件中是否缺少一些重要的内容？或者我在传播到解析器端的扫描器规则中做错了什么？

编辑：根据@Rudi的建议，我打开调试并发现：

$ ./a.out
Starting parse
Entering state 0
Reading a token: /*
foo
Next token is 44 (IDENTIFER)
Shifting token 44 (IDENTIFER), Entering state 4
Reducing via rule 5 (line 130), IDENTIFER  -> identifier
state stack now 0
Entering state 5

我关闭调试并发现 /* foo */ = bar; 确实解析与 foo = bar;。我正在使用 Flex 2.5.4；它不会向我发出有关我尝试使用的状态规则的任何警告。

Answer 1

我认为您需要将 ML_COMMENT 开始条件声明为独占开始条件，以便只有 ML_COMMENT 规则处于活动状态。 %x ML_COMMENT 而不是 %s ML_COMMENT 否则，

没有启动条件的规则也会处于活动状态。

Answer 2

以这种方式解析注释可能会导致错误，因为：

• 您需要向所有 lex 规则添加条件，
• 如果您还想处理 // 注释，那么它会变得更加复杂
• ，您仍然面临 yacc/bison 合并两个注释（包括中的所有内容）的风险在

我的解析器中，我处理这样的注释。首先为注释的开头定义 lex 规则，如下所示：

\/\*     {
         if (!SkipComment())
            return(-1);
         }

\/\/     {
         if (!SkipLine())
            return(-1);
         }

然后编写 SkipComment 和 SkipLine 函数。他们需要消耗所有输入，直到找到注释末尾​​（这是相当旧的代码，所以请原谅我有些过时的结构）：

bool SkipComment (void)
{
int Key;

Key=!EOF;
while (true)
   {
   if (Key==EOF)
      {
      /* yyerror("Unexpected EOF within comment."); */
      break;
      }
   switch ((char)Key)
      {
      case '*' :
         Key=input();
         if (char)Key=='/') return true;
         else               continue;
         break;
      case '\n' :
         ++LineNr;
         break;
      }
   Key=input();
   }

return false;
}

bool SkipLine (void)
{
int Key;

Key=!EOF;
while (true)
   {
   if (Key==EOF)
      return true;
   switch ((char)Key)
      {
      case '\n' :
         unput('\n');
         return true;
         break;
      }
   Key=input();
   }

return false;
}

Answer 3

除了 %x 与 %s 的问题之外，您还存在 [.\n]. 的问题code> 匹配（仅）文字 .，而不是像裸 . 那样的“除换行符以外的任何字符”。你想要一个类似的

<ML_COMMENT>.|"\n"     { /* do nothing */ }

规则

Answer 4

我发现这个 C 语言语法（实际上只是词法分析器）的描述非常有用。我认为这与帕特里克的答案基本相同，但略有不同。

http://www.lysator.liu.se/c/ANSI -C-grammar-l.html