如何以线程安全的方式在 DAO 中缓存信息

Question

我经常需要为一些不经常更改的参考数据实现 DAO。 我有时会将其缓存在 DAO 上的集合字段中，以便仅加载一次并在需要时显式更新。

然而，这带来了许多并发问题——如果另一个线程在加载或更新数据时尝试访问数据怎么办？

显然，这可以通过同步数据的 getter 和 setter 来处理 - 但对于大型 Web 应用程序来说，这是相当大的开销。

我提供了一个有缺陷的小例子，说明了我作为稻草人所需要的东西。 请提出实现此目的的替代方法。

public class LocationDAOImpl implements LocationDAO {

private List<Location> locations = null;

public List<Location> getAllLocations() {
    if(locations == null) {
        loadAllLocations();
    }
    return locations;
}

有关更多信息，我正在使用 Hibernate 和 Spring，但此要求适用于许多技术。

一些进一步的想法：

这根本不应该在代码中处理吗？而是让 ehcache 或类似的东西来处理它？ 我是否缺少一个常见的模式？ 显然有很多方法可以实现这一点，但我从未找到一种简单且可维护的模式。

提前致谢！

Answer 1

最简单、安全的方法是在项目中包含 ehcache 库 并使用它来设置缓存。 这些人已经解决了您可能遇到的所有问题，并且他们使图书馆尽快建成。

Answer 2

在我滚动自己的参考数据缓存的情况下，我通常使用 ReadWriteLock 来减少线程争用。 然后，我的每个访问器都采用以下形式：

public PersistedUser getUser(String userName) throws MissingReferenceDataException {
    PersistedUser ret;

    rwLock.readLock().lock();
    try {
        ret = usersByName.get(userName);

        if (ret == null) {
            throw new MissingReferenceDataException(String.format("Invalid user name: %s.", userName));
        }
    } finally {
        rwLock.readLock().unlock();
    }

    return ret;
}

取出写锁的唯一方法是 refresh()，我通常通过 MBean 公开该方法：

public void refresh() {
    logger.info("Refreshing reference data.");
    rwLock.writeLock().lock();
    try {
        usersById.clear();
        usersByName.clear();

        // Refresh data from underlying data source.

    } finally {
        rwLock.writeLock().unlock();
    }
}

顺便说一句，我选择实现自己的缓存，因为

• ：参考数据集合很小，所以我总是可以将它们全部存储在内存中。
• 我的应用程序需要简单/快速； 我希望尽可能少地依赖外部库。
• 数据很少更新，并且当更新时，对refresh() 的调用相当快。 因此，我急切地初始化我的缓存（与你的稻草人示例不同），这意味着访问器永远不需要取出写锁。

Answer 3

如果您只想快速推出自己的缓存解决方案，请查看此关于 JavaSpecialist 的文章，这是对这本书的评论 Java并发实践，作者：Brian Goetz。

它讨论了使用 FutureTask 和 ConcurrentHashMap。

完成此操作的方式可确保只有一个并发线程触发长时间运行的计算（在您的情况下，是 DAO 中的数据库调用）。

如果需要，您必须修改此解决方案以添加缓存过期。

自己缓存的另一个想法是垃圾收集。 如果不使用 Wea​​kHashMap 作为缓存，那么 GC 将无法在需要时释放缓存使用的内存。 如果您正在缓存不经常访问的数据（但由于难以计算而仍然值得缓存的数据），那么您可能希望在内存不足时使用 Wea​​kHashMap 来帮助垃圾收集器。

Answer 4

如果您的参考数据是不可变的，休眠的二级缓存可能是一个合理的解决方案。

Answer 5

显然，这可以通过同步数据的 getter 和 setter 来处理 - 但对于大型 Web 应用程序来说，这是相当大的开销。

我提供了一个有缺陷的小例子，说明了我作为稻草人所需要的东西。 请提出实现此目的的替代方法。

虽然这可能有点正确，但您应该注意，您提供的示例代码当然需要同步，以避免延迟加载位置时出现任何并发问题。 如果该访问器未同步，那么您将遇到：

• 多个线程同时访问 loadAllLocations() 方法
• 即使在另一个线程访问完之后，某些线程也可能会进入 loadAllLocations()完成该方法并将结果分配给locations - 在Java内存模型下，不能保证其他线程在没有同步的情况下会看到变量的更改。

使用延迟加载/初始化时要小心，这似乎是一个简单的性能提升，但它可能会导致许多令人讨厌的线程问题。

Answer 6

我认为最好不要自己做，因为做好是一件非常困难的事情。 将 EhCache 或 OSCache 与 Hibernate 和 Spring 结合使用是一个更好的主意。

此外，它使您的 DAO 具有状态性，这可能会出现问题。 除了 Spring 为您管理的连接、工厂或模板对象之外，您根本不应该有任何状态。

更新：如果您的参考数据不是太大，并且确实永远不会改变，也许另一种设计是创建枚举并完全放弃数据库。 没有缓存，没有休眠，不用担心。 也许oxbow_lakes的观点值得考虑：也许它可能是一个非常简单的系统。