寻找 Java 中 BufferedInputStream 的最佳大小

Question

我正在分析加载二进制文件的代码。加载时间约为 15 秒。

我的大部分加载时间来自加载二进制数据的方法。

我有以下代码来创建我的 DataInputStream：

is = new DataInputStream(
     new GZIPInputStream(
     new FileInputStream("file.bin")));

我将其更改为：

is = new DataInputStream(
     new BufferedInputStream(
     new GZIPInputStream(
     new FileInputStream("file.bin"))));

因此，在我做了这个小修改之后，加载代码从 15 秒变为 4 秒。

但后来我发现 BufferedInputStream 有两个构造函数。另一个构造函数允许您显式定义缓冲区大小。

我有两个问题：

1. 在 BufferedInputStream 中选择什么大小，是否理想？如果没有，我怎样才能找到缓冲区的最佳大小？我应该编写一段快速的代码来进行二分搜索吗？
2. 这是我使用 BufferedInputStream 的最佳方式吗？我最初将它放在 GZIPInputStream 中，但好处可以忽略不计。我假设代码现在所做的是每次需要填充文件缓冲区时，GZIP 输入流都会经过并解码 x 个字节（其中 x 是缓冲区的大小）。是否值得完全省略 GZIPInputStream ？绝对不需要，但使用它时我的文件大小显着减小。

Answer 1

GZIPInputStream 和 BufferedInputStream 都使用内部缓冲区。这就是为什么在 GZIPInputStream 中使用 BufferedInputStream 不会带来任何好处。 GZIPInputStream 的问题是它不会缓冲它生成的输出，因此您当前的版本要快得多。

BufferedInputStream 的默认缓冲区大小为 8kb，因此您可以尝试增加或减少该值以查看是否有帮助。我怀疑确切的数字有多重要，所以你可以简单地乘以或除以二。

如果文件较小，也可以尝试完全缓冲。理论上这应该会给你最好的性能。您还可以尝试增加 GZIPInputStream 的缓冲区大小（默认为 512 字节），因为这可能会加快从磁盘的读取速度。

Answer 2

1. 不要为编码的二分搜索而烦恼。只需手动尝试一些值并比较时间（如果您愿意，您可以进行手动二分搜索）。您很可能会发现，非常广泛的缓冲区大小将为您提供接近最佳的性能，因此请选择能够达到目的的最小缓冲区大小。

2. 您所拥有的是正确的顺序：

   is = new DataInputStream(
        新的缓冲输入流（
        新的 GZIPInputStream(
        new FileInputStream("file.bin"))));
   

   将 BufferedInputStream 放入 GZIPInputStream 中没有什么意义，因为后者已经缓冲了其输入（但没有缓冲输出）。

   删除GZIPInputStream可能是一个胜利，但如果数据必须从磁盘读取并且不驻留在文件系统缓存中，则很可能会损害性能。原因是从磁盘读取非常慢，而解压缩gzip非常快。因此，从磁盘读取较少的数据并将其解压缩到内存中通常比从磁盘读取更多的数据更便宜。