db2 中的 Oracle rownum - Java 数据归档

Question

我有一个 Java 数据归档过程，可以在 db2 和 sybase 之间移动数据。仅供参考 - 这不是通过任何导入/导出过程完成的，因为每个表上有几个在运行时可用的条件，因此该过程是用 java 开发的。

现在，我为每个源和目标组合定义了单个 DatabaseReader 和 DatabaseWriter，以便数据在多个线程中移动。我想我想进一步扩展它，我可以为每个源和目标组合定义多个 DatabaseReaders 和多个 DatabaseWriter。

因此，例如，如果源数据约为 100 行，并且我定义了 10 个读取器和 10 个写入器，则每个读取器将读取 10 行并将其提供给写入器。我希望进程能够根据服务器上的可用资源 [CPU、内存等] 为我提供极高的性能。

但我猜问题是这些源表没有主键，并且在多个集合中获取行非常困难。

Oracle 提供了 rownum 概念，我想那里的生活要简单得多......但是 db2 怎么样？我如何使用 db2 实现这种行为？有没有办法说先获取前 10 条记录，然后获取接下来的 10 条记录，依此类推？

有什么建议/想法吗？

DB2 版本 - DB2 v8.1.0.144 修复包数量 - 16 Linux

Answer 1

如果我理解正确的话，您只是尝试以 10 行为一组批量写入目标表。无需将读取分批分成 10 行。

只需触发 select 语句，然后继续读取，直到用完数据。
在每 10 行，您可以调用 writer。然而，大多数 jdbc 客户端都会在幕后执行这种优化，因此这可能并不比一次插入一行更好。

我怀疑 nieve 多线程实现是否会加快速度，因为目标数据库引擎无论如何都会完成大部分工作，并且它将受到日志写入和锁定的限制，而多线程没有帮助（或更糟！）。

据我所知，简单的单线程“选择”/“插入”过程将轻松胜过您的多线程程序。还有其他方法可以对此进行优化： -

1. 调整数据库客户端，以便批量进行网络操作。
2. 检查“COMMIT”处理，以便在每 100 次左右插入后提交一次。

Answer 2

DB2 确实支持 rownum 概念。不知道您的数据库架构，这是一个示例：

SELECT *
FROM (
  SELECT rownumber() OVER (order by column1, column2) AS number, column1, column2
  FROM mytable
) temp
WHERE number BETWEEN 20 AND 30

这里的子查询获取表中的每一行，并根据指定的顺序分配 rownumber 函数。 “外部”查询可以使用行号来选择批处理中实际需要的行。