JPA 使用对象图插入速度很慢

Question

我正在尝试使用 JPA 对大型对象图进行级联保存。例如（我的对象图有点大，但足够接近）：

@Entity
@Table(name="a")
public class A {
  private long id;
  @OneToMany(cascade = CascadeType.ALL, mappedBy = "a")
  private Collection<B> bs;
}

@Entity
@Table(name="b")
public class B {
  private long id;
  @ManyToOne
  private A a;
}

所以我试图保留 A，它有 100 多个 B 的集合。代码只是

em.persist(a);

问题是，它很慢。我的保存大约需要 1300 毫秒。我查看了生成的 SQL，发现效率非常低。像这样的事情：

select a_seq.nextval from dual;
select b_seq.nextval from dual;
select b_seq.nextval from dual;
select b_seq.nextval from dual;
...
insert into a (id) values (1);
insert into b (id, fk) values (1, 1);
insert into b (id, fk) values (2, 1);
insert into b (id, fk) values (3, 1);
...

目前使用 toplink 作为持久性提供程序，但我也尝试过 eclipselink 和 hibernate。后端是oracle 11g。问题实际上是如何将 sql 组合在一起。这些操作中的每一个都是离散完成的，而不是批量完成的，因此，如果我的应用程序服务器和数据库服务器之间的网络延迟甚至为 5 毫秒，则执行 200 个离散操作会增加 1 秒。我尝试增加序列的分配大小，但这只会有一点帮助。我还尝试过直接 JDBC 作为批处理语句：

for...{
  statement = connection.prepareStatement(sql);
  statement.addBatch();
}
statement.executeBatch();

对于我的数据模型，作为直接 JDBC 批处理完成大约需要 33 毫秒。 Oracle 本身需要 5 毫秒来完成 100 多个插入。

有没有办法让 JPA（我现在一直使用 1.0）运行得更快，而不需要深入研究供应商特定的东西，比如休眠批量插入？

谢谢！

Answer 1

好奇为什么你觉得增加 INCRMENT BY 很脏？这是一种优化，可以减少为检索下一个序列值而对数据库进行的调用次数，并且是数据库客户端中使用的常见模式，其中 id 值在 INSERT 之前在客户端中分配。我不认为这是 JPA 或 ORM 问题，并且在 JDBC 比较中应该具有相同的成本，因为它还必须在 INSERT 之前为每个新行检索新的序列号。如果您的 JDBC 案例有不同的方法，那么我们应该能够让 EclipseLink JPA 遵循相同的方法。

JPA 的成本在孤立的 INSERT 场景中可能最为明显，因为您无法从事务或共享缓存的重复读取中获得任何好处，并且根据您的缓存配置，您需要付出一定的代价才能将这些新实体放入缓存中刷新/提交。

请注意，创建第一个 EntityManager 也是有成本的，其中所有元数据处理、类加载、可能的编织和元模型初始化。确保将此时间排除在比较之外。在您的实际应用程序中，这种情况只会发生一次，所有后续的 EntityManager 都会从共享元数据中受益。

如果您有其他场景需要读取这些实体，那么将它们放入缓存中的成本可以减少检索它们的成本。根据我的经验，我可以使应用程序总体上比典型的手写 JDBC 解决方案快得多，但它是在整个并发用户集上实现平衡，而不是在孤立的测试用例上实现。

我希望这有帮助。很高兴提供更多指导以及 EclipseLink JPA 及其性能和可扩展性选项。

道格

Answer 2

解决方案是启用 JDBC 批处理，并定期刷新和清除 EntityManager（与批处理大小相同），但我不知道是否有供应商中立的方法来执行此操作：

• 使用 Hibernate，您可以必须设置 hibernate.jdbc.batch_size 配置选项。请参阅第 13 章. 批处理

• 用EclipseLink，貌似有批量写入模式。请参阅 Jeff Sutherland 在此线程中的帖子（也应该可以指定大小）。

• 根据这篇博文的评论< /a>，TopLink Essentials 中不支持批量写入:(

Answer 3

感谢帕斯卡的回复。我已经做了一些测试，并且能够显着提高性能。

在没有优化的情况下，我的插入大约花费了 1100 毫秒。我使用 eclipselink 添加到 persistence.xml：

   <property name="eclipselink.jdbc.batch-writing" value="JDBC"/>
   <property name="eclipselink.jdbc.batch-writing.size" value="1000"/>

我尝试了其他属性（Oracle-JDBC 等），但 JDBC 似乎提供了最佳的性能提升。这使得插入时间降低到大约 900 毫秒。因此，性能提高了 200 毫秒，相当适度。增加序列分配大小可以节省大量成本。我不太喜欢这样做。我发现仅仅为了适应 JPA 而增加序列的 INCRMENT BY 是很肮脏的。增加这些可以将每次插入的时间减少到大约 600 毫秒。因此，这些增强功能总共缩短了大约 500 毫秒。

所有这些都很好，但它仍然比 JDBC 批处理慢得多。为了简化编码，JPA 付出了相当高的代价。