使用 Hibernate 插入（更新）大量实体的最佳方法是什么？

Question

我需要执行类似的操作

   for (int i = 0; i<=moreThanThousand; i++){
       Entity e = new Entity();
       insertEntity(e);
   }

或者

for (Entity e: moreThanThousandEntities){
       updateEntity(e);
   }

Hibernate 中是否有批处理机制？在多个线程中执行这项工作是否有意义？最佳实践是什么？ 对于 JDBC，我会使用PreparedStatement 的addBatch() 和executeBatch() 方法，但我不是Hibernate 专家。 提前致谢！

Answer 1

您可以使用以下方法定义批量大小：

hibernate.jdbc.batch_size 20

批量插入/更新很简单：

for ( int i=0; i<100000; i++ ) {
    Customer customer = new Customer(.....);
    session.save(customer);
    if ( i % 20 == 0 ) { //20, same as the JDBC batch size
        //flush a batch of inserts and release memory:
        session.flush();
        session.clear();
    }
}

有关更多详细信息，请查看 此处。

Answer 2

如果您正在处理大量数据，例如每天导入数据，并且您的处理窗口非常小，那么不幸的是，最好的方法是使用 JDBC 直接访问数据库，请考虑所有这些：

• 垃圾收集器 - 避免在关键操作上构建和释放数百万个对象
• 除了数据处理之外的数据导入 - 尝试使用存储过程处理数据库内的数据。在将数据与其他业务数据（通常需要）相关联时，您可以达到最佳性能。
• 数据物理验证 - 您应该只在导入阶段进行解析操作和物理验证，仅将清理后的数据留给存储过程，以便根据数据库内的其他业务数据进行验证。
• 管道 - 考虑构建一个处理管道以同时执行多个阶段。当您导入数据时，已导入的数据将通过存储过程等进行异步处理。

我可以告诉你，在系统上，我们每天应该处理大约 800 万条记录（我没有以字节为单位，但很大），每天只有 2 小时，因此这是达到最佳性能的唯一方法，即使使用允许的最高硬件。

我希望我为您提供了一种可供考虑的新的有用方法。