Derby 内存数据库：select into 语句内存不足

Question

我必须在项目中使用带有一些巨大桌子的德比。为了获得一些性能，我从三个不同的表中选择文档 ID 到一个巨大的表中以查找文档类型。

基本上是一个非常简单的查询：

"INSERT INTO DOC_TYPES SELECT DOC_ID, 1 FROM TYPE_A_DOCUMENT"
"INSERT INTO DOC_TYPES SELECT DOC_ID, 2 FROM TYPE_B_DOCUMENT"
"INSERT INTO DOC_TYPES SELECT DOC_ID, 3 FROM TYPE_C_DOCUMENT"

当我在“正常”模式下运行这个查询时，德比在我的硬盘上，处理大约需要 1 分钟，最终在数据库中得到大约 650 万行（巨大，我知道...... .）

无论如何，根据我的口味，数据库仍然很慢，所以我试图在内存中运行所有内容。不幸的是，即使堆大小为 4GB（我的硬盘驱动器上的完整数据库从未超过 1GB），操作很快就会出现“java/lang/OutOfMemoryError”错误。

我真的没有看到任何替代方案或解决方法来解决这个问题。 Derby 不支持物化视图，而在 Java 中执行此操作（SELECT、交互结果集、INSERT）将花费数小时...

您也无法“组合”该语句，因为 Derby 似乎不支持 LIMIT。

有什么建议/想法吗？

问候， 迈克尔

Answer 1

您可以尝试通过模 id 创建块，将模运算的第二个值设置为您需要的块数 (n)。并从 0..(n-1) 重复比较

INSERT INTO DOC_TYPES SELECT DOC_ID, 1 FROM TYPE_A_DOCUMENT WHERE DOC_ID % 2 = 0
INSERT INTO DOC_TYPES SELECT DOC_ID, 1 FROM TYPE_A_DOCUMENT WHERE DOC_ID % 2 = 1

并为每个插入提交事务。