在 Antlr3 Lexer 中识别 EOF 文件字符

Question

我正在尝试使用 ANTLR 3 解析一些字符串...它们将用单引号引起来。因此，如果用户没有传递偶数个引号，它会一直运行到文件末尾，因为它假设它是一个巨大的字符串。

有没有办法指定ANTLR识别EOF字符？我已经尝试过 '' 和 '\\z' 现在可用。

Answer 1

要在 ANTLR 中处理单引号字符串文字，您需要执行以下操作：

SingleQuotedString
  :  '\'' ('\\' ('\\' | '\'') | ~('\\' | '\'' | '\r' | '\n'))* '\''
  ;

含义：

'\''                              # a single quote
(                                 # (
  '\\' ('\\' | '\'')              #   a backslash followed by \ or '
  |                               #   OR
  ~('\\' | '\'' | '\r' | '\n')    #   any char other than \, ', \r and \n
)*                                # ) zero or more times
'\''                              # a single quote

要表示 ANTLR 规则中的文件结束标记，只需使用 EOF：

parse
  :  SingleQuotedString+ EOF
  ;

它将匹配一个或更多 SingleQuotedString，后跟文件末尾 (EOF)。字符 '\z' 不是 ANTLR 规则中的有效转义字符。

Answer 2

由于某种原因 EOF 对我不起作用（我使用的是antlr v4）
另一种方法是在上层处理EOF。例如，如果您将 EOF 定义为语句分隔符：

program     : statement+ ;
statement   : some_stuff NEWLINE;

您可以替换为：

program     : (statement NEWLINE)* statement? ;
statement   : some_stuff;