比 Scanner 或 BufferedReader 从 STDIN 读取多行数据更快的方法？

Question

注意：我目前正在用java编码。我希望将输入数据读入字符串，一次一行（或更多行），并且我期望总共有很多行。

现在我已经实现了，

scanner in = new Scanner(System.in)
while (in.hasNextLine()) {
    separated = in.nextLine().split(" ");
    ...
}

因为在行内我的输入是空格分隔的。

不幸的是，由于有数百万行，这个过程非常慢，而且扫描仪占用的时间比我的数据处理时间还要多，所以我研究了 java.io 库，发现了一堆可能性，但我不确定该使用哪一个（ ByteArrayInputStream、FileInputStream、BufferedInputStream、PipedInputStream）。我应该使用哪一个？

具体来说，我的数据是从文本文件通过管道传入的，每行都有 4 或 6 个以换行符结尾的单词，我需要一次分析一行，将（4 或 6）个单词设置为一个数组我可以暂时管理。 数据格式：

392903840 a c b 293 32.90
382049804 a c 390
329084203 d e r 489 384.90
...

有没有一种方法可以让扫描仪一次读取 1000 行左右并变得高效，或者我应该使用其中哪种数据类型（以最小化速度）？

旁注：在实验时我尝试过：

java.io.BufferedReader stdin = new java.io.BufferedReader(new java.io.InputStreamReader(System.in));
while(in.ready()){
    separated = in.readLine().split(" ");
    ...
}

哪个效果很好，只是想知道哪个效果最好，以及是否有任何方法可以一次将 100 行读入数据然后处理所有内容。寻找最佳解决方案的选项太多。

Answer 1

您应该使用 BufferInputStream 包装您的 System.in，如下所示：

BufferedInputStream bis = new BufferedInputStream(System.in);
Scanner in = new Scanner(bis);

因为这可以最大限度地减少对 System.in 的读取量，从而提高效率（BufferedInputStream）。

另外，如果您只是读取行，那么您实际上并不需要扫描仪，而是读取器（它具有 readLine() 和 ready() 方法来获取新行并查看是否还有更多数据要读取）。

您可以这样使用它（请参阅 java6 的示例：InputStreamReader ）：（

我向 BufferedReader 添加了 32MB 的缓存大小参数）

BufferedReader br = new BufferedReader(new InputStreamReader(System.in), 32*1024*1024);
while (br.ready()) {
    String line = br.readLine();
    // process line
}

来自 InputStreamReader 文档页面：

没有缓冲，每次调用
read() 或 readLine() 可能会导致字节
从文件中读取并转换
转化为字符，然后返回，
这可能非常低效。