Spring JDBCTemplate 与 Plain JDBC 插入大量记录的比较

Question

我们必须跨多个表插入 200 万条记录，现在我们正在写入 CSV 文件并使用 db2 import 加载到数据库中。

我们想将此逻辑更改为某种 JDBC。在研究多个选项时，我对 Spring JDBC 模板和普通 JDBC 感到困惑。

假设我想将 100 万条记录插入到 10 个表中，每个表有 10 万条记录，所有这些都是简单的 JDBC 语句（不是准备好的语句，因为我不知道运行时正在处理哪个表）。

无论我们选择什么系统，都需要处理插入最多 1500 万条记录的峰值请求。

哪个框架会更好？

Answer 1

如果您想要移动大量数据，那么与使用批量复制工具（如 db2import）相比，使用 JDBC（或构建在 JDBC 之上的任何库）可能是一个糟糕的选择。 JDBC 的速度将会慢几个数量级，因为

• JDBC 是一个非常繁琐的协议，

• 通常批量复制工具会在复制过程中放松约束。

  通常批量

时间上的差异可能非常大：使用批量复制工具需要 10 分钟，而使用 JDBC 则需要几个小时。在做出这样的事情之前，您需要创建一个原型并进行一些计时，并确定您将获得什么样的性能。

Answer 2

如果您已经在使用 Spring，那么您也可以使用 JdbcTemplate。它使事情变得更容易一些，并且在某些简单的情况下意味着您不需要自己直接使用 JDBC API。本质上，JdbcTemplate 是 JDBC 的一个非常薄的包装，它删除了一些烦人的样板代码。

Answer 3

正如 skaffman 所说，如果您已经在使用 Spring，那么您的选择可能是 JdbcTemplate。具体来说，您可能需要查看 batchUpdate() 方法。 这是一个很好的示例，说明了它的工作原理。我已经用它快速插入了几十万行，并取得了巨大的成功。

Answer 4

考虑 JdbcSession 来自 jcabi-jdbc。它就像 JDBC 应该的那样简单，例如（插入一百万条记录）：

JdbcSession session = new JdbcSession(source);
for (int i = 0; i < 1000000; ++i) {
  session.sql("INSERT INTO foo (number) VALUES (?)")
    .set(i)
    .insert(new VoidHandler());
}

就是这样。