ANTLR - 运行/调试期间的非确定性行为

Question

我正在尝试使用 ANTLR（尝试过 3.3 和 3.4）。当我尝试运行测试代码时，发生了奇怪的事情。请先看我非常简单的代码，然后我会解释我的问题。

测试语法：

lexer grammar CSVLexer;
Comma 
  :  ','
  ;
LineBreak
  :  '\r'? '\n'
  |  '\r'
  ;
SimpleValue
  :  ~(',' | '\r' | '\n' | '"')+
  ;
QuotedValue
  :  '"' ('""' | ~'"')* '"'
  ;

测试代码：

import org.antlr.runtime.*;
public class JMain {
    public static void main(String[] args) throws Exception {
        String source = "val1,val2,val3";
        CSVLexer lexer = new CSVLexer(new ANTLRStringStream(source));
        CommonTokenStream tokens = new CommonTokenStream(lexer);
        int n = 1;
        for (Object o : tokens.getTokens()) {
            CommonToken token = (CommonToken) o;
            System.out.println("token(" + n + ") = " + token.getText().replace("\n", "\\n"));
            n++;
        }
    }
}

编译：

$ export CLASSPATH=antlr3.jar
$ java org.antlr.Tool CSVLexer.g
$ javac *.java
$ java JMain

第一个问题是它不打印任何内容:)。我在 Intellij IDEA (10) 中工作，我尝试从这里运行代码但没有成功（在 CLASSPATH 中使用 ANTLR）。但是，如果我在 int i = 1 上放置断点，调试并等待，比如 1-3 秒，然后继续，它就会起作用！如果我在没有断点的调试模式下运行它，则不会。有人可以向我解释一下可能是什么问题吗？谢谢。

编辑：

所以我尝试了 tu put:

tokens.fill()

之后

CommonTokenStream tokens = new CommonTokenStream(lexer);

就成功了。然而，然后我开始调试 CommonTokenStream 构造函数（几分钟），当我进入 tokens.fill() 时，我得到了 IndexOutOfBoundException。所以不知何故，后台做了一些事情，但我在 IDEA 中看不到其他线程。

编辑2：

问题解决了。看来有必要首先调用 fill() 并且 BufferedTokenStream 可能不应该这样使用。我遵循了本教程 http://bkiers.blogspot.com/2011 /03/2-introduction-to-antlr.html 它可能以某种方式对作者有用（我想知道为什么）。 IntelliJ IDEA 调试器在本地对象上调用 toString() ，然后又调用 fill() ，这就是我设置断点时它起作用的原因。 toString() 修改状态是邪恶的！