在 SQLite 中填充表的最快方法是什么?
我正在编写一个应用程序,它会生成大量数据以存储在数据库中。
DB 模式非常简单:它是一个只有 4 列的表,但我必须用 30000 多行填充它。
我使用 SQLite 和 QSql 作为 API。
数据生成得非常快(没有睡眠),我正在使用 QSqlQuery 一次插入一行。 然而,存储 100 行似乎需要 7-8 秒(我使用 QTime 进行时间计数)。
我尝试使用 QSqlTableModel,但我发现性能没有任何改进,甚至每 1000 行调用一次 QSqlTableModel::submitAll(QTime
显示 1000 行需要 70-80 秒)行)。
有什么方法可以更快地存储行吗?使用 SQLite 填充表的最快方法是什么?
I'm writing an application which produces a lot of data to store in a database.
The DB schema is very simple: it's a table with just 4 columns, but I must fill it with more than 30000 rows.
I'm using SQLite and QSql as API.
Data is produced very fast (no sleeps) and I'm using QSqlQuery to insert a row at time.
However it seems that it takes 7-8 seconds to store 100 rows (I'm using QTime
for time counting).
I tried using QSqlTableModel
but I noticed no performance improvements, even calling QSqlTableModel::submitAll
every 1000 rows (QTime
shows 70-80 seconds for 1000 rows).
Is there any way to store rows faster? What is the fastest way to fill a table with SQLite?
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(2)
您可以尝试查看事务设置是否正确 ;它们很昂贵,因为它们必须同步到磁盘才能提交。
还要记住,无论如何,SQLite 针对读取进行了更严格的优化。
You could try looking at whether you've got transactions set up correctly; they're expensive because they have to sync to disk to commit.
Also bear in mind that SQLite is more heavily optimized for reading anyway.
您可以尝试在开始时删除任何索引,然后在导入所有记录后将它们添加回来。如果您首先清空表或只是附加新记录,结果当然会有所不同。
You might try dropping any indexes at the start and then adding them back after all records have been imported. Results will vary of course if you're emptying the table first or just appending new records.