MySQL多重复记录合并

Question

以前的 DBA 管理着一个包含 240 万个条目的非关系表，所有条目都具有唯一的 ID。但是，每个记录中存在具有不同数据的重复记录，例如：

+---------+---------+--------------+----------------------+-------------+
| id      | Name    | Address      | Phone   | Email      | LastVisited |
+---------+---------+--------------+---------+------------+-------------+
| 1       | bob     | 12 Some Road | 02456   |            |             | 
| 2       | bobby   |              | 02456   | bob@domain |             |
| 3       | bob     | 12 Some Rd   | 02456   |            | 2010-07-13  | 
| 4       | sir bob |              | 02456   |            |             |
| 5       | bob     | 12SomeRoad   | 02456   |            |             |
| 6       | mr bob  |              | 02456   |            |             |
| 7       | robert  |              | 02456   |            |             |
+---------+---------+--------------+---------+------------+-------------+

这不是确切的表 - 真实的表有 32 列 - 这只是为了说明

我知道如何识别重复项，在本例中我使用的是电话数字。我已将重复项提取到一个单独的表中 - 总共有 730k 个整体。

合并这些记录（并标记不需要的记录以进行删除）的最有效方法是什么？

我已经考虑过将 UPDATE 与 INNER JOIN 一起使用，但需要几个 WHERE 子句，因为我想使用后续记录中的数据更新第一条记录，其中后续记录具有前一条记录没有的附加数据。

我看过第三方软件，例如 Fuzzy Dups，但我如果可能的话，就像一个纯MySQL选项

最终的目标是我会留下这样的东西：

+---------+---------+--------------+----------------------+-------------+
| id      | Name    | Address      | Phone   | Email      | LastVisited |
+---------+---------+--------------+---------+------------+-------------+
| 1       | bob     | 12 Some Road | 02456   | bob@domain | 2010-07-13  | 
+---------+---------+--------------+---------+------------+-------------+

我应该考虑在存储过程/函数中循环还是有一些我错过的真正简单的事情？

Answer 1

你必须创建一个程序，但在此之前
创建您自己的 temp_table，例如：

Insert into temp_table(column1, column2,....) values (select column1, column2... from myTable GROUP BY phoneNumber) 

您必须创建上述物理表，以便您可以在其上运行游标。

创建过程 myPROC
{

create a cursor on temp::
fetch the phoneNumber and id of the current row from the temp_table to the local variable(L_id, L_phoneNum).

在这里，您也需要创建一个新的similar_tempTable，其中包含如下值

Insert into similar_tempTable(column1, column2,....) values (Select column1, column2,.... from myTable where phoneNumber=L_phoneNumber)

下一步是从similar_tempTable中提取您想要的每一列的值，并更新到myTable的行，其中id=L_id并删除其余的重复行来自我的表。

还有一件事，在每次光标迭代后截断similar_tempTable...

希望这会帮助你...