如何让 Java 将我的多核处理器与 GZIPInputStream 结合使用？

Question

我在我的程序中使用 GZIPInputStream，并且我知道如果我能让 Java 并行运行我的程序，性能将会有所帮助。

一般来说，标准虚拟机是否有命令行选项可以在多个核心上运行？它只在一台机器上运行。

谢谢！

编辑

我在 Windows XP 上运行普通的 Java SE 6 update 17。

将 GZIPInputStream 放在单独的线程上会显式帮助吗？ 不！不要将 GZIPInputStream 放在单独的线程上！不要多线程 I/O！

编辑2

我认为I/O是瓶颈，因为我正在读取和写入同一个磁盘...

不过，一般来说，有没有办法让GZIPInputStream更快？或者并行运行的 GZIPInputStream 的替代品？

编辑3 我使用的代码片段：

GZIPInputStream gzip = new GZIPInputStream(new FileInputStream(INPUT_FILENAME));
DataInputStream in = new DataInputStream(new BufferedInputStream(gzip));

Answer 1

据我所知，从该流中读取的操作是单线程的，因此如果您正在读取一个文件，多个 CPU 将无法帮助您。

但是，您可以有多个线程，每个线程解压缩不同的文件。

话虽这么说，如今解压缩并不是特别需要大量计算，您更有可能因 IO 成本而受阻（例如，如果您正在硬盘的两个不同区域中读取两个非常大的文件）。

更一般地说（假设这是 Java 新手的问题），Java 不会为您并行执行操作。您必须使用线程告诉它您想要执行的工作单元是什么以及如何在它们之间同步。 Java（在操作系统的帮助下）通常会占用尽可能多的可用内核，并且如果线程多于内核（通常是这种情况），也会在同一内核上交换线程。

Answer 2

PIGZ = GZip 的并行实现是 gzip 的全功能替代品，在压缩数据时充分利用多个处理器和多个内核。 http://www.zlib.net/pigz/ 它还不是 Java——任何接受者。当然，世界需要 Java。

有时，压缩或解压缩会消耗大量 CPU，但它可以帮助 I/O 不再成为瓶颈。

另请参阅 HP 实验室的数据系列 (C++)。 PIGZ 仅并行化压缩，而 Dataseries 将输出分解为大的压缩块，这些压缩块可以并行解压缩。还具有许多其他功能。

Answer 3

将 GZIP 流包装在缓冲流中，这应该会给您带来显着的性能提升。

OutputStream out = new BufferedOutputStream(
    new GZIPOutputStream(
        new FileOutputStream(myFile)
    )
)

对于输入流也是如此。使用缓冲的输入/输出流可以减少磁盘读取的次数。

Answer 4

我没有看到任何解决程序的其他处理的答案。

如果您只是解压缩文件，最好使用命令行 gunzip 工具；但可能会对您从该流中提取的文件进行一些处理。

如果您要提取大小合理的块中的内容，那么对这些块的处理应该在与解压缩不同的线程中进行。

您可以在每个大字符串或其他数据块上手动启动一个线程；但从 Java 1.6 左右开始，您最好使用 java.util.concurrent 中的一个新奇类，例如 ThreadPoolExecutor。

---

更新

从问题和其他评论中我不清楚您是否真的只是使用 Java 提取文件。如果您真的、真的认为您应该尝试与 Gunzip 竞争，那么您可能可以通过使用大缓冲区来获得一些性能；例如，使用 10 MB（二进制，不是十进制！- 1048576）的缓冲区，将其填充到单个文件中并以同样的方式将其写入磁盘。这将使您的操作系统有机会对磁盘空间进行一些中等规模的规划，并且您也将需要更少的系统级调用。

Answer 5

压缩似乎是并行化的一个难题，因为压缩器发出的字节是前 W 个输入字节的重要函数，其中 W 是窗口大小。显然，您可以将文件分成多个部分，并为在自己的线程中运行的每个部分创建独立的压缩流。您可能需要保留一些压缩元数据，以便解压缩器知道如何将文件重新组合在一起。

Answer 6

使用 gzip 进行压缩和解压缩是一个序列化过程。要使用多个线程，您必须创建一个自定义程序将输入文件分解为多个流，然后创建一个自定义程序来解压缩并将它们重新连接在一起。无论哪种方式，IO 都将成为 CPU 使用率之前的瓶颈。

Answer 7

运行多个虚拟机。每个虚拟机都是一个进程，每个核心应该能够运行至少三个进程，而不会出现任何性能下降。当然，您的应用程序必须能够利用多处理才能受益。没有灵丹妙药，这就是为什么您会在媒体上看到文章抱怨我们还不知道如何使用多核机器。

然而，有很多人将他们的应用程序构建为一个主进程，该主进程管理一组工作进程并将工作包分配给它们。并非所有问题都可以通过这种方式解决。

Answer 8

我认为认为多线程 IO 总是邪恶的想法是错误的。您可能需要分析您的特定情况以确保安全，因为：

• 最近的操作系统使用当前可用内存作为缓存，并且当您读取文件时，您的文件实际上可能不在硬盘上。
• 最近的硬盘驱动器（例如 SSD）的访问时间要快得多，因此更改读取位置不再是问题。
• 这个问题太笼统了，无法假设我们正在从单个硬盘驱动器读取数据。

您可能需要调整读取缓冲区，使其足够大以降低切换成本。在边界情况下，可以将所有文件读入内存并并行解压缩 - 速度更快，并且 IO 多线程没有任何损失。然而，不那么极端的方法也可能效果更好。

您也无需执行任何特殊操作即可在 JRE 上使用多个可用内核。不同的线程通常会使用由操作系统管理的不同核心。

Answer 9

你不能并行化标准的GZipInputStream，它是单线程的，但是你可以管道将解压流解压并处理到不同的线程中，即将GZipInputStream设置为生产者和任何将其作为消费者处理的东西，并将它们与有界阻塞队列连接起来。