SQLite：在没有游标的情况下批量更新字段

Question

我有下表：

CREATE TABLE Records (
RecordIndex INTEGER NOT NULL,
...
Some other fields
...
Status1 INTEGER NOT NULL,
Status2 INTEGER NOT NULL,
UpdateDate DATETIME NOT NULL,
CONSTRAINT PK_Records PRIMARY KEY (RecordIndex ASC))

和一个索引：

CREATE INDEX IDX_Records_Status ON ClientRecords
  (Status1 ASC, Status2 ASC, RecordIndex ASC)

我需要逐条获取某个状态的记录，所以我使用了这个语句：

SELECT *
FROM RECORDS
WHERE RecordIndex > @PreviousIndex
AND Status1 = @Status1
AND Status2 = @Status2
LIMIT 1

但是现在我需要获取按另一个字段排序的记录，但是这个字段不是唯一的每一条记录，所以我不能以同样的方式使用它。因此，我决定向表中添加一个新的 SortIndex 字段。

由于 SQLite 中没有游标，我正在执行以下操作来初始化 SortIndex 的值。
首先，我创建一个临时表：

CREATE TEMP TABLE Sort (
SortIdx INTEGER PRIMARY KEY AUTOINCREMENT,
RecordIdx INTEGER )

然后以正确的排序顺序填充该表：

INSERT INTO Sort
  SELECT NULL, RecordIndex
  FROM Records
  ORDER BY SomeField ASC, RecordIndex ASC

然后在临时表上创建索引：

CREATE INDEX IDX_Sort_RecordIdx ON Sort (RecordIdx ASC)

然后更新 Records 表中的 SortIndex 字段：

UPDATE Records
SET SortIndex =
  (SELECT SortIdx
   FROM Sort
   WHERE RecordIdx = RecordIndex)

然后删除临时表：

DROP TABLE Sort

最后创建我的记录表上的新索引

CREATE INDEX IDX_Records_Sort ON Records
  (Status1 ASC, Status2 ASC, SortIndex ASC)

这允许我执行以下选择

SELECT *
FROM Records
WHERE SortIndex > @PreviousSortIndex
AND Status1 = @Status1
AND Status2 = @Status2
LIMIT 1

问题是，由于该表包含大约 500K 记录，整个过程大约需要 2 分钟。使用游标初始化 SortIndex 可能会快得多，但 SQLite 缺乏此功能:(

有没有更快的方法来做到这一点？

提前致谢！

Answer 1

您应该考虑 INSERT OR REPLACE，而不是对相关子查询执行 UPDATE SQLite 的 功能，当主键重复时，它将执行整行的 UPDATE：

UPDATE Records
   SET SortIndex =
       (SELECT SortIdx
          FROM Sort
         WHERE RecordIdx = RecordIndex) 

变成

INSERT OR REPLACE INTO Records (RecordIndex, SortIndex, ...)
SELECT RecordIndex, SortIdx, ... FROM another_temporary_table_containing_all_columns.

当然，您可以代替使用包含所有列的临时表使用连接旧表和新表的 SELECT：在 SQLite shell 中尝试此

CREATE TABLE original (id INTEGER PRIMARY KEY, content TEXT);

BEGIN TRANSACTION;
INSERT INTO original(id, content) VALUES(1, 'foo');
INSERT INTO original(id, content) VALUES(2, 'bar');
INSERT INTO original(id, content) VALUES(3, 'baz');
COMMIT TRANSACTION;

CREATE TABLE id_remap(old_id INTEGER, new_id INTEGER);

BEGIN TRANSACTION;
INSERT INTO id_remap(old_id, new_id) VALUES(2,3);
INSERT INTO id_remap(old_id, new_id) VALUES(3,2);
COMMIT TRANSACTION;

INSERT OR REPLACE INTO original (id, content)
SELECT b.new_id, a.content
  FROM original a
 INNER JOIN id_remap b
    ON b.old_id = a.id;

SELECT * FROM original;

操作 结果：

1|foo
2|baz
3|bar

如果您需要进行批量更新但不想要相关子查询，另一种选择是在视图中执行连接，并创建一个在该视图上触发INSTEAD OF UPDATE。问题是，在此过程中不能有失败的约束。我想对每一行都检查约束，所以这可能会非常慢。

在 SQLite shell 中：

CREATE TABLE original (id INTEGER PRIMARY KEY, content TEXT);

BEGIN TRANSACTION;
INSERT INTO original(id, content) VALUES(1, 'foo');
INSERT INTO original(id, content) VALUES(2, 'bar');
INSERT INTO original(id, content) VALUES(3, 'baz');
COMMIT TRANSACTION;

CREATE TABLE id_remap(old_id INTEGER, new_id INTEGER);

BEGIN TRANSACTION;
INSERT INTO id_remap(old_id, new_id) VALUES(3,6);
COMMIT TRANSACTION;

CREATE TEMPORARY VIEW tmp_id_mapping
    AS
SELECT a.content, b.old_id, b.new_id
  FROM original a
 INNER JOIN id_remap b
    ON b.old_id = a.id;

 CREATE TEMPORARY TRIGGER IF NOT EXISTS tmp_trig_id_remap
INSTEAD OF UPDATE OF content ON tmp_id_mapping
    FOR EACH ROW
  BEGIN
    UPDATE original
       SET id = new.new_id
     WHERE id = new.old_id;
   END;

UPDATE tmp_id_mapping
   SET content = 'hello';

SELECT * FROM original;

结果：

1|foo
2|bar
6|baz

Answer 2

主要答案

我认为，不可能在 SQLlite 中快速插入带有索引的约 500k 记录（以及将来的许多索引）。

我希望有人能在这里发明新轮子。

---

马克，我认为你应该避免这种类型的动态添加索引，而只添加其他经典索引，无论你有多少需要它们。

另外，游标在任何 DMBS 中并不总是好主意——只有当我们需要复杂的逻辑时，但在这里简单的排序，我认为它已经过头了。

只需添加经典索引——即使它们不是唯一的。

或者在这里发布更多关于为什么你填写的详细信息，你应该选择一些动态的方式。

正如我看到的，sqlite也支持偏移量。

---

用于测试的 SQL

-- init
CREATE TABLE IF NOT EXISTS `records` (
  `RecordID` int(10) default NULL,
  `Status` int(10) default NULL,
  `SomeField` char(50) default NULL,
  `RecordIndex` int(11) default NULL
) ENGINE=MyISAM DEFAULT CHARSET=utf8;

truncate `records`;
INSERT INTO `records` (`RecordID`, `Status`, `SomeField`, `RecordIndex`) VALUES
    (1, 1, 'a', 35),
    (2, 1, 'b', 20),
    (3, 1, 'c', 42);

-- 1st select
SELECT * FROM records WHERE Status = 1 ORDER BY SomeField ASC, RecordIndex ASC LIMIT 1 OFFSET 0;

-- update
update records set `Status` = 2 where RecordID = 1;

-- select next
SELECT * FROM records WHERE Status = 1 ORDER BY SomeField ASC, RecordIndex ASC LIMIT 1 OFFSET 1;