Java 的 Scanner 与 String.split() 与 StringTokenizer； 我应该使用哪个？

Question

我目前正在使用 split() 扫描文件，其中每行都有由 '~' 分隔的字符串数量。 我在某处读到 Scanner 可以在性能方面更好地处理长文件，所以我考虑检查一下。

我的问题是：我是否必须创建两个 Scanner 实例？ 也就是说，一个读取一行，另一个基于该行获取分隔符的标记？ 如果我必须这样做，我怀疑我是否会从使用它中获得任何好处。 也许我在这里遗漏了一些东西？

Answer 1

在单线程模型中围绕这些进行了一些度量，这是我得到的结果。

~~~~~~~~~~~~~~~~~~Time Metrics~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
~ Tokenizer  |   String.Split()   |    while+SubString  |    Scanner    |    ScannerWithCompiledPattern    ~
~   4.0 ms   |      5.1 ms        |        1.2 ms       |     0.5 ms    |                0.1 ms            ~
~   4.4 ms   |      4.8 ms        |        1.1 ms       |     0.1 ms    |                0.1 ms            ~
~   3.5 ms   |      4.7 ms        |        1.2 ms       |     0.1 ms    |                0.1 ms            ~
~   3.5 ms   |      4.7 ms        |        1.1 ms       |     0.1 ms    |                0.1 ms            ~
~   3.5 ms   |      4.7 ms        |        1.1 ms       |     0.1 ms    |                0.1 ms            ~
____________________________________________________________________________________________________________

结果是 Scanner 提供了最佳性能，现在同样需要在多线程模式下进行评估！ 我的一位学长说 Tokenizer 会导致 CPU 峰值，而 String.split 不会。

Answer 2

对于处理线，您可以使用扫描仪，对于从每条线获取令牌，您可以使用 split。

Scanner scanner = new Scanner(new File(loc));
try {
    while ( scanner.hasNextLine() ){
        String[] tokens = scanner.nextLine().split("~");
        // do the processing for tokens here
    }
}
finally {
    scanner.close();
}

Answer 3

您可以使用 useDelimiter("~") 方法让您使用 hasNext()/next() 迭代每行上的标记，同时仍使用 hasNextLine()/nextLine() 迭代行本身。

编辑：如果您要进行性能比较，则应在执行 split() 测试时预编译正则表达式：

Pattern splitRegex = Pattern.compile("~");
while ((line = bufferedReader.readLine()) != null)
{
  String[] tokens = splitRegex.split(line);
  // etc.
}

如果您使用 String#split(String regex)，则正则表达式将每次都要重新编译。 （扫描程序在第一次编译所有正则表达式时会自动缓存它们。）如果您这样做，我预计性能不会有太大差异。

Answer 4

我想说 split() 是最快的，并且可能足以满足您正在做的事情。 但它的灵活性不如扫描仪。 StringTokenizer 已弃用，仅用于向后兼容，因此请勿使用它。

编辑：您始终可以测试这两种实现，看看哪一种更快。 我很好奇 scanner 是否可以比 split() 更快。 对于给定大小的分割可能会比扫描仪更快，但我不能确定这一点。

Answer 5

这里实际上不需要正则表达式，因为您正在分割固定字符串。 Apache StringUtils split 对纯字符串进行分割。

对于大容量拆分，其中拆分是瓶颈，而不是文件 IO，我发现这比 String.split() 快 10 倍。 但是，我没有针对已编译的正则表达式对其进行测试。

Guava 还有一个分割器，以更面向对象的方式实现，但我发现它比 StringUtils 对于大容量分割要慢得多。