如何离线存储大量数据，然后批量更新到SQLite数据库中？

Question

目前，我正在尝试使用此方法用数万个文本数据填充 SQLite 数据库：

SQLiteConnection = new SQLiteConnection(cntnStr);
connection.Open();

foreach(Page p in pages)
{
     using (SQLiteCommand command = new SQLiteCommand(String.Format("Insert Into Pages (ID, Data, Name) Values ({0}, '{1}', '{2}')", id, p.Data, p.Name), connection))
         command.ExecuteNonQuery();
}

但是，我怀疑每秒执行此操作大约 10 次可能会减慢整个过程。有没有办法可以整理内存中的数据，然后将每 5000 条左右的记录批量添加到数据库中（这样更快）？

编辑：非常重要：确保在 DbTransaction 中执行所有 SQL 命令 - 在本例中为 SQLiteTransaction：

SQLiteTransaction trans = connection.BeginTransaction();

// SQL centric code - repeated inserts/changes

trans.Commit(); // adds your changes

它将性能提高 1000 倍。

Answer 1

使用参数化查询，而不是使用字符串连接构建查询：

using (SQLiteConnection = new SQLiteConnection(cntnStr))
{
    connection.Open();

    string query = "Insert Into Pages (ID, Data, Name) Values (?, ?, ?)";
    using (SQLiteCommand command = new SQLiteCommand(query, connection)
    {
        command.Parameters.Add("id", DbType.Int32);
        command.Parameters.Add("data", DbType.String);
        command.Parameters.Add("name", DbType.String);
        foreach(Page p in pages)
        {
             command.Parameters["id"].Value = p.Id;
             command.Parameters["data"].Value = p.Data;
             command.Parameters["name"].Value = p.Name;
             command.ExecuteNonQuery();
        }
    }
}

这会更快，因为 DbCommand 仅创建一次，并且查询仅解析一次。另外，您还可以避免由于字符串连接而导致 SQL 注入的风险

，请查看 这篇文章由 Robert Simpson（SQLite .NET 提供程序的作者）撰写

Answer 2

您必须自己处理转义数据，但可以使用批量插入。

IE：

Insert Into Pages (ID, Data, Name) Values (...),(...),(...),(...)

Answer 3

您可以将表从 SQLite DB 加载到 DataTable-Object，然后将记录插入 DataTable-Object 中，并每 5000 条记录同步回数据库。