使用 Java 存储许多对象

Question

我正在联系这里的社区，了解是否有一种方法可以在 Java 映射结构中存储许多对象（> 500K）。我知道，如果我使用 Java Collections API，并且我正在寻找其他解决方案（分布式缓存之外），那么在某些时候我的应用程序将超出其内存占用量。我的意图是存储一些达到 Map> 效果的东西。

要求：

• 结构是不可变的（一次加载到地图中）。仅读取访问权限。
• 对地图的访问需要相当快，但不寻求低延迟检索，更关心在内存中存储和保留这些对象。

有谁知道我可以利用这样一个库来实现这一点，或者有人遇到过需要在 Java 内存中加载许多对象的解决方案吗？我很想听听您的反馈。

谢谢。

Answer 1

EhCache 非常适合此目的。最基本的是，它提供了一个键值映射、可选的溢出到磁盘以及可选的 JVM 重新启动持久性。它将把最常用的元素保留在内存中。

Answer 2

我和斯卡夫曼在一起。除了溢出到磁盘之外，EhCache 还允许您将缓存放置在进程内但堆外。如果您的缓存确实很大，这可能会对性能产生非常积极的影响，因为它减少了 GC 的压力。

然而，这个特定功能必须付费，否则 EhCache 是免费的。

除了 EhCache，Java 中还有一些其他缓存提供类似甚至有时甚至更高级的选项，例如 Infinispan 或 OsCache。

Answer 3

您是否考虑过只读数据库，例如 java cdb： http://www.strangegizmo .com/products/sg-cdb/

Answer 4

H2 数据库引擎的 MVStore 功能

虽然我还没有尝试过，但 H2 数据库引擎 除了关系数据库引擎之外，还提供专门的键值存储。该商店名为 MVStore。虽然由 H2 内部使用，但文档建议您可以直接将其用于键值存储。

MVStore 允许您通过 java.util.Map 接口，不使用 JDBC 或 SQL。

示例用法，取自文档：

import org.h2.mvstore.*;

// open the store (in-memory if fileName is null)
MVStore s = MVStore.open(fileName);

// create/get the map named "data"
MVMap<Integer, String> map = s.openMap("data");

// add and read some data
map.put(1, "Hello World");
System.out.println(map.get(1));

// close the store (this will persist changes)
s.close();

阅读完整文档以了解其性能概况、并发性以及在内存中缓存同时持久保存到存储的能力。