Lex - 识别标记

Question

我正在努力学习 Lex。我有一个简单的程序，我想在其中读取文件并识别令牌。

现在我遇到了一些错误。我认为我遇到了问题，因为文件中有多于一行来识别令牌？

这是文件

fd 3x00
bk
setc 100
int xy3 fd 10 rt 90

这是我想要实现的输出：

Keyword: fd
Illegal: 3x00
Keyword: bk
Keyword: setc
Number: 100
Keyword: int

这是我的程序：

%{

/* Comment  */

 #include <stdio.h>
 #include <stdlib.h>

%}
%%
fd                     {printf("Keyword: fd\n");}
[0-9][a-z][0-9]        {printf("Illegal: 3x00\n");}
bk                     {printf("Keyword: bk\n");}
setc[0-9]              {printf("Keyword: setc\n Number: %s\n", yytext);}
int                    {printf("Keyword: int\n");}
xy3                    {printf("ID: xy3\n");}
fd[0-9]                {printf("Keyword: fd\n Number %s\n", yytext);}
rt[0-9]                {printf("Keyword: rt \n Number %s\n", yytext);}
%%

main( argc, argv)
int argc;
char** argv;
{
    if(argc > 1)
    {

        FILE *file;
        file = fopen(argv[1], "r");
        if(!file)
        {
           fprintf(stderr, "Could not open %s \n", argv[1]);
           exit(1);
        }

        yyin = file;

    }

    yylex();

}

这是我尝试编译它时遇到的错误：

 In function 'yylex':
miniStarLogo.l:11: error: expected expression before '[' token
miniStarLogo.l:11: error: 'a' undeclared (first use in this function)
miniStarLogo.l:11: error: (Each undeclared identifier is reported only once
miniStarLogo.l:11: error: for each function it appears in.)
miniStarLogo.l:11: error: expected ';' before '{' token
miniStarLogo.l:13: error: expected expression before '[' token
miniStarLogo.l:13: error: expected ';' before '{' token

错误在我的 printf 语句中吗？ 谢谢

Answer 1

当我使用 flex (2.5.35) 和 gcc (4.6.1) 在 MacOS X (10.7.2) 上编译您的代码副本时，我得到的唯一抱怨来自 C 编译器的内容是关于 main() 的非原型定义，这是因为我总是在启用该警告的情况下进行编译，并提及已定义但未使用的 yyunput() （这不是你的 过错）。

由于您正在学习 C，因此您应该只使用符号：

int main(int argc, char **argv)
{
    ...
}

或等效符号。

我还将 miniStarLogo.l 文件转换为 DOS 格式（CRLF 行结尾），并且 flex 和 gcc 的结果似乎都不错- 有点令我惊讶。您的机器上可能不是这种情况。

当我在你的测试数据上运行代码时，我得到：

Keyword: fd
 Illegal: 3x00
0
Keyword: bk

setc 100
Keyword: int
 ID: xy3
 Keyword: fd
 10 rt 90

所以，根据我的计算，你离你需要的地方并不远。

---

我的命令一片混乱。

我使用了（嗯，它是 GCC 4.2.1 而不是 4.6.1），但是：（

$ flex miniStarLogo.l
$ gcc -Wall -Wextra -O3 -g -o lex.yy lex.yy.c -lfl
miniStarLogo.l:22: warning: return type defaults to ‘int’
miniStarLogo.l: In function ‘main’:
miniStarLogo.l:42: warning: control reaches end of non-void function
miniStarLogo.l: At top level:
lex.yy.c:1114: warning: ‘yyunput’ defined but not used
$ ./lex.yy <<EOF
> fd 3x00
> bk
> setc 100
> int xy3 fd 10 rt 90
> EOF
Keyword: fd
 Illegal: 3x00
0
Keyword: bk

setc 100
Keyword: int
 ID: xy3
 Keyword: fd
 10 rt 90
$

好吧 - 我稍微作弊了：第一次，我运行了 rmk lex.yy LDLIBS=-lfl，其中 rmk 是 make 的变体，目录中的编译规则使用显示的命令行，但我重新编译以获得正确的错误消息，与此完全相同。上面。）

您可能需要考虑扩展您的模式以接受“一个或多个”数字，用 [0-9]+ 代替 [0-9] 。您可能需要查看处理不匹配字符的规则。就我个人而言，我竭尽全力避免在换行符之前出现空白，因此您需要加强打印格式以满足我的标准。然而，这与程序的运行无关。

另外，如果您需要将文件从 DOS 转换为 Unix 行结尾，最简单的方法是使用 dos2unix 命令（如果您的计算机上有该命令）。否则，使用：

$ tr -d '\015' < miniStarLogo.l > x
$ od -c x
0000000   %   {  \r  \n  \r  \n   /   *       C   o   m   m   e   n   t
...
0001560  \n   }  \r  \n
0001564
$ mv x miniStarLogo.l
$

我使用 vim 和 :set fileformat=dos 小心地添加了回车符；也可以使用 vim 和 :set fileformat=unix 来撤消它。这是 Unix，所以 TMTOWTDI（有不止一种方法可以做到这一点——Perl 的座右铭），我什至没有尝试使用 Perl。