关于词法分析的问题

Question

我正在看龙书。引用书中的文字（3.1.4 词汇错误，Pno 114）

词法分析器很难 告诉，无需其他人的帮助 组件，有一个 源代码错误。例如，如果 遇到字符串 fi 第一次在 C 程序中 上下文：

fi ( a == f(x) ) ...

词法分析器无法判断是否 fi 是关键字的拼写错误 if 或未声明的函数 标识符。由于 fi 是有效的 lexeme 为 token id，词法 分析器必须将令牌id返回到 解析器并让其他一些阶段 编译器 - 可能是解析器 这种情况 - 处理由于以下原因导致的错误 字母的换位。

读完这篇文章后我有点困惑。我的理解是词法分析器开始从左到右处理文本，并在模式匹配时返回标记。那么对于以 if 为要匹配关键字的语言，fi 如何匹配呢？

有什么想法吗？

Answer 1

它与 if 标记不匹配，而是与 id 标记匹配，后者代表“标识符”。如果没有关键字匹配，则它是包罗万象的。词法分析器不知道在某些位置“期望”什么。它只返回标记，解析器会知道它期望什么。 AC 解析器必须接受以下语句，例如，这是一个函数调用

fi ( a  == f(x) );

Answer 2

您必须区分语法分析和词法分析。

• 词法分析的任务是将字符序列转换为标记字符串。可以有各种类型的标记，例如标识符、加法运算符、语句结束运算符等。如果词法分析遇到与任何标记都不对应的文本字符串，则词法分析只会失败并出现错误。在您的情况下 fi ( a == f(x) ) ... 将转换为 ; <左括号> <标识符> <平等> <标识符> <左括号> <标识符> <右括号> .....

• 一旦生成了标记字符串，就会执行语法分析。这通常涉及从标记构建某种语法树。解析器知道该语言允许的所有有效语句的形式。如果解析器找不到允许上述标记序列的语法规则，它将失败。

Answer 3

您如何判断 if 是否是给定点的唯一预期输入？

int a = 42;
if (a == 42)
    puts("ok");

与

int a = 42;
fi (a == 42)
    puts("ok");

fi 可能是函数调用。例如，上面的可能拼写错误：

int a = 42;
fi(a == 42);
puts("ok");

其中fi是一个采用int并返回void的函数>。

Answer 4

对于词法分析错误的解释来说，这是一个糟糕的例子。这段文字试图告诉您的是，编译器无法识别您拼写错误的“if”关键字（反写）。它只看到“fi”，例如一个有效的变量名称，因此将 id（例如）“VARIABLE”返回给解析器。解析器随后意识到语法错误。

它与从左到右或从右到左无关。编译器当然是从左到右读取源代码的。正如我所说 - 这个解释的关键字选择很糟糕。