将大文件作为流发送到 process.getOutputStream

Question

我在 Windows 机器中使用 gzip 实用程序。我压缩了一个文件并作为 blob 存储在数据库中。当我想使用 gzip 实用程序解压缩此文件时，我将此字节流写入 process.getOutputStream。但超过30KB后，就无法读取该文件了。它挂在那里。

尝试使用内存参数、读取和刷新逻辑。但如果我尝试将相同的数据写入文件，速度会非常快。

 OutputStream stdin = proc.getOutputStream();
 Blob blob = Hibernate.createBlob(inputFileReader);
 InputStream source = blob.getBinaryStream();
 byte[] buffer = new byte[256];
 long readBufferCount = 0;
 while (source.read(buffer) > 0)
 {
  stdin.write(buffer);
  stdin.flush();
  log.info("Reading the file - Read bytes: " + readBufferCount);
  readBufferCount = readBufferCount + 256;
 }
 stdin.flush();

问候， 马尼·库马尔·阿达里。

Answer 1

我怀疑问题在于外部进程（连接到 proc ）要么

• 没有读取其标准输入，要么
• 正在向其标准输出写入 Java 应用程序没有读取的内容。

请记住，Java 使用一对“管道”与外部进程通信，并且这些管道的缓冲量有限。如果超出管道的缓冲容量，写入进程将被阻止写入管道，直到读取进程从管道读取足够的数据以腾出空间。如果读取器不读取，则管道将锁定。

如果您提供更多上下文（例如启动 gzip 进程的应用程序部分），我将能够更加明确。

跟进

gzip.exe 是我们使用的 Windows 中的一个 UNIX 实用程序。命令提示符下的 gzip.exe 工作正常。但java程序不行。有什么方法可以增加 java 写入管道的缓冲大小。我目前关心的是输入部分。

在 UNIX 上，gzip 实用程序通常使用以下两种方式之一：

• gzip file 压缩 file，将其转换为 file.gz。
• <代码>... |压缩包 | ... （或类似的东西）将其标准输入的压缩版本写入其标准输出。

我怀疑您正在做与后者相同的事情，即使用 java 应用程序作为 gzip 命令输入的源及其输出的目标。如果 java 应用程序没有正确实现，这正是可能发生锁定的情况。例如：

    Process proc = Runtime.exec(...);  // gzip.exe pathname.
    OutputStream out = proc.getOutputStream();
    while (...) {
        out.write(...);
    }
    out.flush();
    InputStream in = proc.getInputStream();
    while (...) {
        in.read(...);
    }

如果上面应用程序的写入阶段写入了太多数据，那么肯定会锁定。

java 应用程序和 gzip 之间的通信是通过两个管道进行的。正如我上面所说，管道将缓冲一定量的数据，但该量相对较小，并且肯定是有限的。这就是锁机的原因。发生的情况如下：

1. gzip 进程是通过一对将其连接到 Java 应用程序进程的管道创建的。
2. Java 应用程序将数据写入其 out 流。
3. gzip 进程从其标准输入读取该数据，对其进行压缩并写入其标准输出。
4. 步骤 2. 和 3. 重复几次，直到最后 gzip 进程尝试写入其标准输出块。

所发生的情况是，gzip 一直在写入其输出管道，但没有从中读取任何内容。最终，我们到达了耗尽输出管道的缓冲区容量并且写入管道的时间点。

与此同时，Java 应用程序仍在写入 out Stream，经过几轮后，这也会阻塞，因为我们已经填充了另一个管道。

唯一的解决方案是 Java 应用程序同时读写。执行此操作的简单方法是创建第二个线程，并从一个线程写入外部进程并从另一个线程中的进程读取。

（更改 Java 缓冲或 Java 读/写大小不会有帮助。重要的缓冲是在管道的操作系统实现中，并且没有办法从纯 Java 中更改它（如果有的话）。）