如何创建一个解析器来标记从文件中获取的单词列表？

Question

我正在尝试为我的编译器类做一个语法文本校正器。我的想法是：我有一些语言固有的规则（在我的例子中是葡萄牙语），例如“有效的短语是主语动词形容词”，如“Ruby is Great”。

好的，首先我必须对输入“Ruby is Great”进行标记。所以我有一个文本文件“verbs”，其中有很多动词，一行一行。然后我有一个文本“形容词”，一个“代词”等。

我正在尝试使用 Ragel 来创建一个解析器，但我不知道如何做类似的事情：

%%{
  machine test;
  subject = <open-the-subjects-file-and-accept-each-one-of-them>;
  verb = <open-the-verbs-file-and-accept-each-one-of-them>;
  adjective = <open-the-adjective-file-and-accept-each-one-of-them>;
  main = subject verb adjective @ { print "Valid phrase!" } ;
}%%

我查看了 ANTLR、Lex/Yacc、Ragel等等。但找不到似乎可以解决这个问题的人。我能想到的唯一方法是预处理 Ragel 的输入文件，以便我的程序读取该文件并将其内容写入正确的位置。但我也不喜欢这个解决方案。

有谁知道我该怎么做？如果不是Ragel也没有问题，我只是想解决这个问题。我想使用 Ruby 或 Python，但这也不是真正必要的。

谢谢。

Answer 1

如果你想在编译时读取文件..使它们的格式为：

subject = \
ruby|\
python|\
c++

然后使用ragel的'include'或'import'语句（我忘记了哪个..必须检查手册）来导入它。

---

如果您想在运行时检查主题列表，也许只需让 ragel 读取 3 个单词，然后为每个单词关联一个操作。该操作可以读取文件并在运行时查找单词是否正确。

该操作读取文本文件并比较单词的内容。

%%{
machine test

action startWord {
    lastWordStart = p;
}
action checkSubject {
   word = input[lastWordStart:p+1]  
   for possible in open('subjects.txt'):
       if possible == word:
           fgoto verb
   # If we get here do whatever ragel does to go to an error or just raise a python exception 
   raise Exception("Invalid subject '%s'" % word)
}
action checkVerb { .. exercise for reader .. ;) }
action checkAdjective { .. put adjective checking code here .. }

subject = ws*.(alnum*)>startWord%checkSubject
verb := : ws*.(alnum*)>startWord%checkVerb
adjective := ws*.)alnum*)>startWord%checkAdjective
main := subject;
}%%

Answer 2

使用 bison，我会手动编写词法分析器，它会在预定义的字典中查找单词。