存储在磁盘上的 HashMap 从磁盘读回非常慢

Question

我有一个存储外部 uid 的 HashMap，然后它存储为给定 uid 设置的不同 id（我们应用程序的内部）。

例如：

• 123.345.432=00001
• 123.354.433=00002

地图由 uid 检查以确保使用相同的内部 id。如果向应用程序重新发送某些内容。

DICOMUID2StudyIdentiferMap 定义如下：

private static Map DICOMUID2StudyIdentiferMap = Collections.synchronizedMap(new HashMap());

但是，如果我们成功加载，加载将会覆盖它，否则它将使用默认的空 HashMap。

它通过执行以下操作从磁盘读回：

FileInputStream f = new FileInputStream( studyUIDFile );  
ObjectInputStream s = new ObjectInputStream( f );

Map loadedMap = ( Map )s.readObject();
DICOMUID2StudyIdentiferMap = Collections.synchronizedMap( loadedMap );

HashMap 使用以下方法写入磁盘：

FileOutputStream f = new FileOutputStream( studyUIDFile );
ObjectOutputStream s = new ObjectOutputStream( f );

s.writeObject(DICOMUID2StudyIdentiferMap);

我遇到的问题是，在 Eclipse 中本地运行性能良好，但是当应用程序在计算机上正常使用时运行时，HashMap 需要几分钟才能加载从磁盘。加载后，还需要很长时间来检查先前的值，例如查看 DICOMUID2StudyIdentiferMap.put(..., ...) 是否会返回值。

我在这两种情况下加载相同的地图对象，它是一个约 400kb 的文件。它包含的 HashMap 有大约 3000 个键值对。

为什么在一台机器上这么慢，但在eclipse上却没有？

该机器是运行 XP 的 VM，它最近才开始读取 HashMap 变慢，因此它必须与它的大小有关，但是我认为 400kb 并不是很大。

欢迎任何建议，TIA

Answer 1

正如 @biziclop 评论的那样，您应该首先使用分析器来查看应用程序将所有时间都花在哪里。

如果这没有给您任何结果，这里有一些理论。

• 您的应用程序可能即将耗尽堆。当 JVM 接近耗尽堆时，它会花费几乎所有时间进行垃圾收集，徒劳地尝试继续运行。如果您启用 GC 日志记录，则会显示此信息。

• ObjectInputStream 和 ObjectOutputStream 可能正在执行大量小型读取系统调用。尝试用缓冲流包装文件流，看看它是否显着加快速度。

为什么在一台机器上那么慢，而在eclipse中却不这么慢？

“满堆”理论可以解释这一点。 Eclipse 的默认堆大小比使用 java ... 启动且没有堆大小选项的应用程序大得多。

Answer 2

不确定序列化您的地图是最佳选择。如果映射是基于磁盘的持久性，为什么不使用专为磁盘设计的库呢？查看京都内阁。它实际上是用 C++ 编写的，但有一个 java API。我已经用过它好几次了，它非常容易使用，速度非常快，并且可以扩展到很大的尺寸。

这是我复制/粘贴东京内阁（京都的旧版本）的示例，但它基本上是相同的：

import tokyocabinet.HDB;

....

String dir = "/path/to/my/dir/";
HDB hash = new HDB();

// open the hash for read/write, create if does not exist on disk
if (!hash.open(dir + "unigrams.tch", HDB.OWRITER | HDB.OCREAT)) {
    throw new IOException("Unable to open " + dir + "unigrams.tch: " + hash.errmsg());
}

// Add something to the hash
hash.put("blah", "my string");

// Close it
hash.close();

Answer 3

以下列出了 122 个 NoSQL 数据库，您可以将其用作替代数据库。

这里有两个昂贵的操作，一是对象的序列化，二是磁盘访问。您可以通过仅读取/写入您需要的数据来加快访问速度。您可以通过使用自定义格式来加快序列化速度。

您还可以更改数据结构以提高效率。如果您想每次重新加载/重写整个地图，我建议使用以下方法。

---

private Map<Integer, Integer> mapping = new LinkedHashMap<Integer, Integer>();

public void saveTo(File file) throws IOException {
    DataOutputStream dos = new DataOutputStream(new BufferedOutputStream(new FileOutputStream(file)));
    dos.writeInt(mapping.size());
    for (Map.Entry<Integer, Integer> entry : mapping.entrySet()) {
        dos.writeInt(entry.getKey());
        dos.writeInt(entry.getValue());
    }
    dos.close();
}

public void loadFrom(File file) throws IOException {
    DataInputStream dis = new DataInputStream(new BufferedInputStream(new FileInputStream(file)));
    mapping.clear();
    int len = dis.readInt();
    for (int i = 0; i < len; i++)
        mapping.put(dis.readInt(), dis.readInt());
    dis.close();
}

public static void main(String[] args) throws IOException {
    Random rand = new Random();
    Main main = new Main();
    for (int i = 1; i <= 3000; i++) {
        // 100,000,000 to 999,999,999
        int uid = 100000000 + rand.nextInt(900000000); 
        main.mapping.put(uid, i);
    }
    final File file = File.createTempFile("deleteme", "data");
    file.deleteOnExit();
    for (int i = 0; i < 10; i++) {
        long start = System.nanoTime();
        main.saveTo(file);
        long mid = System.nanoTime();
        new Main().loadFrom(file);
        long end = System.nanoTime();
        System.out.printf("Took %.3f ms to save and %.3f ms to load %,d entries.%n",
                (end - mid) / 1e6, (mid - start) / 1e6, main.mapping.size());
    }
}

使用 TIntIntHashMap 代替打印速度

Took 1.203 ms to save and 1.706 ms to load 3,000 entries.
Took 1.209 ms to save and 1.203 ms to load 3,000 entries.
Took 0.961 ms to save and 0.966 ms to load 3,000 entries.

大约快 10%。

将地图大小增加到 100 万个打印条目

Took 412.718 ms to save and 62.009 ms to load 1,000,000 entries.
Took 403.135 ms to save and 61.756 ms to load 1,000,000 entries.
Took 399.431 ms to save and 61.816 ms to load 1,000,000 entries.

Answer 4

也许您应该寻找与 Map 类似的替代方案，例如 SimpleDB、BerkeleyDB 或 Google BigTable。

Answer 5

Voldemort 是 Linkedin 流行的开源键值存储。我建议您查看源代码，看看他们是如何做事的。现在我正在查看 https 的序列化部分://github.com/voldemort/voldemort/blob/master/src/java/voldemort/serialization/ObjectSerializer.java。查看他们使用的代码 ByteArrayOutputStream 其中我认为这是从光盘读取/写入的更有效的方法。

为什么在一台机器上这么慢，而在eclipse中却不这么慢？

您的问题不太清楚，但是 Eclipse 是否在 VM（VirtualBox？）中运行？因为如果是这样的话，情况可能会更快，因为完整的虚拟机存储在内存中，这比访问磁盘要快得多。

Answer 6

我认为这可能是一个哈希问题。您在 Map 中使用的键的类型是什么，它是否具有有效的 hashCode() 方法来很好地分散键？