我可以在运行时添加 Antlr 令牌吗？

Question

我遇到的情况是，我的语言包含一些在构建时未知但在运行时已知的单词，导致需要不断重建/重新部署程序以考虑新单词。我在想 Antlr 是否可以从配置文件生成一些令牌？

例如，在一个简化的示例中，如果我有一条规则

rule : WORDS+;

WORDS : 'abc';

并且我的语言在运行时遇到“bcd”，我希望能够修改配置文件以将 bcd 定义为单词，而不必重建然后重新部署。

Answer 1

您可以将某种集合添加到您的词法分析器类中。该集合将保存所有运行时单词。然后，您在规则中添加一些可能与这些运行时单词匹配的自定义代码，并更改令牌的类型（如果令牌存在于集合中）。

演示

假设您要解析输入：

"foo bar baz"

在运行时，单词 "foo" 和 "baz" 应成为特殊的运行时单词。下面的语法展示了如何解决这个问题：

grammar RuntimeWords;

tokens {
  RUNTIME_WORD;
}

@lexer::members {

  private java.util.Set<String> runtimeWords;

  public RuntimeWordsLexer(CharStream input, java.util.Set<String> words) {
    super(input);
    runtimeWords = words;
  }
}

parse
  :  (w=. {System.out.printf("\%-15s :: \%s \n", tokenNames[$w.type], $w.text);})+ EOF
  ;

Word
  :  ('a'..'z' | 'A'..'Z')+
     {
       if(runtimeWords.contains(getText())) {
         $type = RUNTIME_WORD;
       }
     }
  ;

Space
  :  ' ' {skip();}
  ;

还有一个小测试类：

import org.antlr.runtime.*;
import java.util.*;

public class Main {
  public static void main(String[] args) throws Exception {
    Set<String> words = new HashSet<String>(Arrays.asList("foo", "baz"));
    ANTLRStringStream in = new ANTLRStringStream("foo bar baz");
    RuntimeWordsLexer lexer = new RuntimeWordsLexer(in, words);
    CommonTokenStream tokens = new CommonTokenStream(lexer);
    RuntimeWordsParser parser = new RuntimeWordsParser(tokens);        
    parser.parse();
  }
}

它将产生以下输出：

RUNTIME_WORD    :: foo 
Word            :: bar 
RUNTIME_WORD    :: baz

演示 II

这是另一个更适合您的问题的演示（一开始我太快地浏览了您的问题，但我会留下我的第一个演示到位，因为它可能对某人有用）。其中没有太多评论，但我的猜测是您不会在理解发生的事情上遇到问题（如果没有，请随时要求澄清！）。

grammar RuntimeWords;

@lexer::members {

  private java.util.Set<String> runtimeWords;

  public RuntimeWordsLexer(CharStream input, java.util.Set<String> words) {
    super(input);
    runtimeWords = words;
  }

  private boolean runtimeWordAhead() {
    for(String word : runtimeWords) {
      if(ahead(word)) {
        return true;
      }
    }
    return false;
  }

  private boolean ahead(String word) {
    for(int i = 0; i < word.length(); i++) {
      if(input.LA(i+1) != word.charAt(i)) {
        return false;
      }
    } 
    return true; 
  }
}

parse
  :  (w=. {System.out.printf("\%-15s :: \%s \n", tokenNames[$w.type], $w.text);})+ EOF
  ;

Word
  :  {runtimeWordAhead()}?=> ('a'..'z' | 'A'..'Z')+
  |  'abc'
  ;

Space
  :  ' ' {skip();}
  ;

并且类：

import org.antlr.runtime.*;
import java.util.*;

public class Main {
  public static void main(String[] args) throws Exception {
    Set<String> words = new HashSet<String>(Arrays.asList("BBB", "CDEFG"));
    ANTLRStringStream in = new ANTLRStringStream("BBB abc CDEFG");
    RuntimeWordsLexer lexer = new RuntimeWordsLexer(in, words);
    CommonTokenStream tokens = new CommonTokenStream(lexer);
    RuntimeWordsParser parser = new RuntimeWordsParser(tokens);        
    parser.parse();
  }
}

将产生：

Word            :: BBB 
Word            :: abc 
Word            :: CDEFG 

如果某些运行时单词以另一个单词开头，请小心。例如，如果您的运行时单词包含 "stack" 和 "stacker"，您希望首先检查较长的单词！根据字符串的长度对集合进行排序应该是有序的。

最后要注意的是：如果运行时单词列表中只有 "stack" 并且词法分析器遇到 "stacker"，那么您可能不想创建 < code>"stack"-token 并让 "er" 悬空。在这种情况下，您需要检查单词中最后一个字符后面的字符是否不是字母：

private boolean ahead(String word) {
  for(int i = 0; i < word.length(); i++) {
    if(input.LA(i+1) != word.charAt(i)) {
      return false;
    }
  }
  // charAfterWord = input.LA(word.length())
  // assert charAfterWord != letter
  // note that charAfterWord could also be EOF
  return ... ; 
}