为什么 Java 使用本机库时使用的内存是 Linux 下 C 程序使用时的 1.5 倍？

Question

我用 C 编写了一个库，它消耗大量内存（数百万个小块）。我编写了使用这个库的 ac 程序。我编写了一个使用相同库的java程序。 Java 程序是库周围非常薄的一层。基本上只有一种本机方法被调用，完成所有工作并在几小时后返回。 Java 和本机库之间不再使用 java 调用接口进行进一步的通信。也不存在消耗大量内存的 Java 对象。

所以C程序和Java程序非常相似。整个计算/内存分配发生在本机库内。仍然。执行时，c 程序消耗 3GB 内存。但是Java程序消耗了4.3GB！ （顶部报告的 VIRT 量）

我检查了 Java 进程的内存映射（使用 pmap）。图书馆仅使用 40MB。所以 Java 加载的额外库不是原因。

有人对这种行为有解释吗？

编辑：感谢您迄今为止的回答。为了更清楚一点：java 代码除了调用本机库一次之外什么也不做！ java 堆是标准大小（也许 60MB）并且不被使用（除了包含 main 方法的一个类和调用本机库的另一个类）。

本机库方法是一种长时间运行的方法，并且执行大量的 malloc 和 free 操作。碎片化也是我自己想到的一种解释。但由于没有活动的 Java 代码，因此 Java 程序和 C 程序的碎片行为应该相同。由于它是不同的，我还假设在 C 程序或 Java 程序中运行时使用的 malloc 实现是不同的。

Answer 1

只是猜测：在 JVM 内部运行时，您可能会使用非默认的 malloc 实现，该实现会根据 JVM 的特定需求进行调整，并且会产生比通用 malloc 更多的开销> 在你正常的 libc 实现中。

Answer 2

对不起各位。错误的假设。

我已经习惯了 Sun Java 实现使用 64MB 作为默认最大堆大小。但我使用openjdk 1.6进行测试。如果未显式指定最大堆大小，Openjdk 将使用一小部分物理内存。就我而言，是四分之一。我用的是4GB的机器。因此四分之一是 1GB。这就是C和Java之间的区别。

遗憾的是这种行为没有任何记录。我在查看openjdk的源代码（arguments.cpp）时发现它：

// If the maximum heap size has not been set with -Xmx,
// then set it as fraction of the size of physical memory,
// respecting the maximum and minimum sizes of the heap.

Answer 3

Java需要为其堆提供连续的内存，以便它可以分配最大内存大小作为虚拟内存。但是，这不会消耗物理内存，甚至可能不会消耗交换空间。我会检查一下你的常驻记忆增加了多少。

Answer 4

您需要考虑不同的因素，尤其是像 Java 这样的语言，Java 在虚拟机上运行，​​垃圾收集由 Java 运行时处理，因为使用 Java 调用接口需要付出相当大的努力（我想）要在本机库中切换或执行本机方法，因为必须有一种方法来分配堆栈上的空间，切换到本机代码，执行本机方法，切换回 Java 虚拟机，也许以某种方式，分配堆栈上的空间堆栈没有被释放 - 这就是我倾向于认为的。

希望这有帮助，
此致，
汤姆.

Answer 5

很难说，但我认为问题的核心在于应用程序中有两个堆需要维护——用于 Java 对象分配的标准 Java 堆（由 JVM 维护）和 C 堆它是通过调用 malloc/free 来维护的。如果没有看到一些代码，很难准确地说出发生了什么。

Answer 6

这是对抗它的建议。

让 C 代码停止使用标准 malloc 调用，并使用 malloc 的替代版本，通过 mmaping /dev/zero 来获取内存。您可以从库中修改 malloc 的实现，也可以自行开发（如果您觉得有足够的能力这样做）。

我强烈怀疑你会发现你的问题在你这样做之后就消失了。