运行 Java 代码时内存不足

Question

我有一个保存为文本文件的数据集，其中基本上包含逐行存储的向量。我的向量的维度是 10k，我有 250 个这样的向量。每个向量条目都是双精度的。这是一个例子：

向量 1 -> 0.0 0.0 0.0 0.439367 0.0 .....10k 这样的条目

向量 2 -> 0.0 0.0 0.0 0.0 .....10k 这样的条目

......

0.0 0.0 0.0 0.439367

向量 250 -> 0.0 1.203973 0.0 0.0 0.0 .....10k 这样的条目

现在如果我计算一下，这应该占用 10k X 16bytes X 250 空间（假设每个向量条目是一个双精度占用 16bytes 的空间），大约 40MB 的空间。但是我看到文件大小仅显示为 9.8MB。我是不是哪里出错了？

问题是我在我的 Java 代码中使用了这些数据。我的算法的空间复杂度是 O(向量中的条目数 X 条目数)。即使当我通过分配 4GB 内存来运行代码时，我仍然会用完堆空间。我缺少什么？

谢谢。 安迪

Answer 1

在这么多人猜测大小之后，我做了3个简单的测试，并使用Eclipse Memory Analyzer来确定大小。 （Win7、1.6.0_21 Java HotSpot (TM) 64 位服务器 VM）

• double[][] = 大小：19,2 MB 类：328 个对象：2,7k
• Double[] [] 结构 = 大小：76,5 MB 类：332 个对象：2,5m
• ArrayList> = 大小：79,6 MB 类：330 个对象：2 ,5m

256MB (java -Xmx256m Huge) 足以运行测试。

所以我想问题不在于大小，可能有两件事：

• 算法中有一个错误，
• jvm 不能以 4GB 运行

---

如果有人对代码感兴趣：

import java.util.ArrayList;
import java.util.List;

public class Huge {

    private static final int NUMBER_OF_VECTORS = 250;
    private static final int VECTOR_SIZE = 10000;

    //Size: 19,2 MB Classes: 328 Objects: 2,7k 
    public static void doulbeArray() {

        double[][] structure = new double[NUMBER_OF_VECTORS][];

        for(int i = 0; i < NUMBER_OF_VECTORS; i++) {
            structure[i] = new double[VECTOR_SIZE];
        }
    }

    //Size: 76,5 MB Classes: 332 Objects: 2,5m
    public static void doubleWrapperArray() {

        Double[][] structure = new Double[NUMBER_OF_VECTORS][];

        for(int i = 0; i < NUMBER_OF_VECTORS; i++) {
            structure[i] = new Double[VECTOR_SIZE];
            for (int k = 0; k < VECTOR_SIZE; k++) {
                structure[i][k] = Double.valueOf(Math.random());
            }
        }
    }

    //Size: 79,6 MB Classes: 330 Objects: 2,5m 
    public static void list() {

        List<List<Double>> structure = new ArrayList<List<Double>>(); 

        for(int i = 0; i < NUMBER_OF_VECTORS; i++) {
            List<Double> vector = new ArrayList<Double>();            
            for (int k = 0; k < VECTOR_SIZE; k++) {
                vector.add(Double.valueOf(Math.random()));
            }
            structure.add(vector);
        }
    }
}

Answer 2

在没有看到代码的情况下，我不能肯定地说，但是当您a）从文件中读取数据或b）算法中的某个位置时，听起来您正在过度分配。我建议您使用诸如 VisualVM 之类的工具来检查您的对象分配 - 它将能够告诉您如何分配以及犯了哪些错误。

Answer 3

现在如果我算一下，这应该需要
最多 10k X 16bytes X 250 空间（假设
每个向量条目都是双重获取
最多 16 字节的空间），大约 40MB
空间。但是我看到该文件
大小仅显示为 9.8MB。我是吗
哪里出了问题？

错误之处在于假设每个 double 在保存为文本时占用 16 个字节的空间。您似乎有很多 0 值，它们仅占用字符串形式的 4 个字节（包括分隔符）。

即使我通过分配来运行我的代码
比如4GB内存，我还是用完了
堆空间。我错过了什么？

这取决于你的代码。原因之一可能是您将数据存储在 ArrayList 或（更糟糕的）TreeSet - Double 包装器中对象很容易导致 200% 的内存开销 - 而 Set/Map 结构更糟糕。

Answer 4

如果没有看到代码和 VM 参数，很难说。但请注意，算法中的变量也会消耗内存。文件大小与内存使用情况取决于您构建内存中对象的方式，例如，没有 double 的简单对象会自行占用空间。

获取合适的工具来对内存使用情况进行基准测试。查看 TPTP Eclipse 发行版。

另外，您可能想查看稀疏矩阵。

Answer 5

如果我们看不到代码（这很公平），我只能说在启动应用程序时使用 -XX:+HeapDumpOnOutOfMemoryError 命令行选项，然后分析生成的堆转储与jhat。