如何持久化大量实体（JPA）

Question

我需要处理 CSV 文件，并为每条记录（行）保留一个实体。现在，我这样做：

while ((line = reader.readNext()) != null) {
    Entity entity = createEntityObject(line);
    entityManager.save(entity);
    i++;
}

其中 save(Entity) 方法基本上只是一个 EntityManager.merge() 调用。 CSV 文件中约有 20,000 个实体（行）。这是一种有效的方法吗？看起来好像相当慢。使用 EntityManager.persist() 会更好吗？这个解决方案有什么缺陷吗？

编辑

这是一个漫长的过程（超过 400 秒），我尝试了两种解决方案：persist 和 merge。两者完成所需的时间大致相同（459 秒与 443 秒）。问题是像这样一一保存实体是否是最佳的。据我所知，Hibernate（我的 JPA 提供程序）确实实现了一些缓存/刷新功能，因此我不必担心这一点。

Answer 1

JPA API 没有为您提供实现最佳效果的所有选项。根据您想要执行此操作的速度，您必须寻找 ORM 特定选项 - 根据您的情况选择 Hibernate。

需要检查的事项：

1. 检查您是否使用单个事务（是的，显然您确定这一点）
2. 检查您的 JPA 提供程序（Hibernate）是否使用 JDBC 批处理 API（参考：hibernate.jdbc.batch_size）
3. 检查您是否可以绕过生成键（取决于 db/jdbc 驱动程序从中获得多少好处 - 请参阅：hibernate.jdbc.use_getGenerateKeys）
4. 检查是否可以绕过级联逻辑（从中只能获得最小的性能好处）

所以在 Ebean ORM 中这将是：

    EbeanServer server = Ebean.getServer(null);

    Transaction transaction = server.beginTransaction();
    try {
        // Use JDBC batch API with a batch size of 100
        transaction.setBatchSize(100);
        // Don't bother getting generated keys
        transaction.setBatchGetGeneratedKeys(false);
        // Skip cascading persist 
        transaction.setPersistCascade(false);

        // persist your beans ...
        Iterator<YourEntity> it = null; // obviously should not be null 
        while (it.hasNext()) {
            YourEntity yourEntity = it.next();
            server.save(yourEntity);
        }

        transaction.commit();
    } finally {
        transaction.end();
    }

哦，并且如果您通过原始 JDBC 执行此操作，您将跳过 ORM 开销（减少对象创建/垃圾收集等） - 所以我不会忽略该选项。

所以，是的，这并不能回答你的问题，但可能会帮助你搜索更多 ORM 特定的批量插入调整。

Answer 2

我认为一种常见的方法是通过交易。如果您开始一个新事务，然后保留大量对象，那么在您提交事务之前，它们实际上不会插入到数据库中。如果您有大量项目需要提交，这可以提高您的效率。

查看 EntityManager.getTransaction

Answer 3

为了让它运行得更快，至少在 Hibernate 中，您可以在一定数量的插入后执行lush()和clear()。我已经对数百万条记录采用了这种方法，并且它有效。虽然还是慢，但是比不做快多了。基本结构是这样的：

int i = 0;
for(MyThingy thingy : lotsOfThingies) {

    dao.save(thingy.toModel())

    if(++i % 20 == 0) {
        dao.flushAndClear();
    }

}

Answer 4

您可以使用经典的 SQL Insert 语句将它们直接写入数据库。

@see EntityManager.createNativeQuery