高性能 SQLite 的选项

Question

我正在开发一个嵌入式系统，它需要非常频繁地存储和检索数据。我预计每秒可能有 100 次写入和 10 次读取。数据将突发而不是连续到达。

我想使用 SQLite 来存储所有这些数据，但由于它是闪存文件系统，因此写入（插入和更新）太慢。我尝试设置 synchronous=off ，这确实提高了性能，但我担心会损坏数据库。

在我的应用中，断电的情况很少见，但确实有可能发生。我可以忍受丢失一些最近的数据，但绝对不能冒因数据库损坏而丢失所有数据的风险。

我还考虑过使用内存 SQLite 数据库作为主数据库，并定期将其同步到文件系统，如 将 sqlite 数据库从内存同步到文件

我还应该考虑其他选项吗？

Answer 1

当大量数据到达时，请确保在单个事务中执行一系列插入和更新。

sqlite3_exec(handle, "BEGIN TRANSACTION", NULL, NULL, NULL);

for ( ... ) {
    // Do your inserts/updates
}

sqlite3_exec(handle, "END TRANSACTION", NULL, NULL, NULL);

默认情况下，SQLite 将每个插入/更新放在自己的事务中。如果底层文件系统很慢，这可能会使 SQLite 变得非常慢。通过声明您自己的事务，您可以显着减少对文件系统执行的实际写入量，从而显着提高 SQLite 的性能。

Answer 2

我不知道你的数据集有多大，但如果它们不是太大，那么 WAL 模式可能会有所帮助。您可以尝试"PRAGMA synchronous=1"：此设置不会在每次事务后同步，但偶尔。 （默认值：写入 2 MB 的新数据时。）SQLite 文档说您可能会丢失一些最近的事务，但数据库不会损坏。