MySQL数据库大量记录更新

Question

我正在考虑最有效的方法，如何下载和更新项目到我的数据库（MySQL）中。我正在处理数万到数百个项目。

我有一个包含项目的表 (table_a)。每天晚上我都会下载新数据，这些数据存储在table_b中。因此，现在是午夜，我将数据下载到 table_b，下载所有数据后，我将开始比较 table_b 和 table_a 之间的数据。 如果table_b中的项目存在于table_a中，那么我将通过table_b编辑table_a中的3-4个数字值。如果这个项目不在table_a中，那么我会将这个项目保存到table_a中。

这样我就可以一天一次更新表 table_a 中的项目。此方法的问题是 - 此过程非常慢...对于大约 20,000 个项目，需要大约 25-30 分钟。 （我的应用程序在 RoR 上运行）

我想问您 - 您能帮我提供更好、尤其更快的方法来将新记录更新到表 (table_a) 中吗？ 我将非常感激...提前谢谢你， M。

Answer 1

如果数据库中提供了所有必需的数据，逻辑不是极其复杂或经常更改，并且性能是一个问题，那么将逻辑迁移到单个 SQL 语句中是最明显的选择之一。

大致如下：

INSERT INTO table_a SELECT * FROM table_b ON DUPLICATE KEY UPDATE value1=table_b.value1, value2=table_b.value2, ....;

Answer 2

两个建议：

1. 索引：这应该使查找速度更快。
2. 哈希：如果要比较长字符串，最好先创建哈希，然后再将它们存储在数据库中并比较它们的哈希。