归档数千个文件和 7zip 限制

Question

我的应用程序要求每天运行一个任务，其中需要压缩 100,000 多个 PDF（每个约 50kb）文件。目前，我正在使用 7-zip 并调用 7za.exe（带有 7-zip 的命令行工具）来压缩每个文件（文件位于许多不同的文件夹中）。

这种方法有哪些局限性以及如何解决？ 7zip 存档是否有文件大小或文件数量限制？

Answer 1

文件大小限制为 16 艾字节，即 16000000000 GB。

文件数量没有硬性限制，但管理文件头的方式有实际限制。确切的限制取决于路径长度，但在 32 位系统上，您将遇到大约一百万个文件的限制。

我不确定是否还有其他格式支持更多。普通拉链的限制要小得多。

http://en.wikipedia.org/wiki/7-Zip

7-Zip 的一个显着限制是，虽然它支持最大 16 艾字节的文件大小，但除了执行实际压缩所需的内存之外，它在为文件分配内存方面的开销异常高。

每个文件大约需要 1 KB（如果路径名很长则需要更多），并且仅文件列表就可以增长到比实际压缩所需的内存大一个数量级。在现实世界中，这意味着 32 位系统无法在一个存档中压缩超过一百万个左右的文件，因为内存要求超过 2 GB 进程限制。

64 位系统不会受到相同的进程大小限制，但仍需要几 GB RAM 来克服此限制。然而，在此类系统上创建的存档在内存较少的计算机上将无法使用。