SQL Server 2008 重复数据删除

Question

长话短说，我接手了一个项目，数据库中的一个表非常需要重复数据删除。该表如下所示：

supply_req_id | int      | [primary key]
supply_req_dt | datetime | 
request_id    | int      | [foreign key]
supply_id     | int      | [foreign key]
is_disabled   | bit      |

存在具有相同 request_id 和 Supply_id 的记录的重复项。我想找到一种最佳实践方法来消除该表的重复数据。

[编辑]
@Kirk_Broadhurst，谢谢你的提问。由于 Supply_req_id 没有在其他地方引用，我会回答说保留第一个，删除任何后续出现的情况。

节日快乐

Answer 1

这会为 (supply_req_dt, request_id) 分组中的每一行创建一个排名，从 1 = 最低的 Supply_req_id 开始。任何骗局都有一个价值> 1

;WITH cDupes AS
(
    SELECT
     supply_req_id,
     ROW_NUMBER() OVER (PARTITION BY supply_req_dt, request_id ORDER BY supply_req_id) AS RowNum
    FROM
     MyTable
)
DELETE
   cDupes
WHERE
   RowNum > 1

然后添加唯一约束或INDEX

CREATE UNIQUE INDEX IXU_NoDupes ON MyTable (supply_req_dt, request_id)

Answer 2

似乎应该有一个命令，但也许那是因为我习惯了不同的数据库服务器。这是相关的支持文档：

如何从 SQL Server 中的表中删除重复的行
http://support.microsoft.com/kb/139444

Answer 3

您需要阐明确定在“匹配”情况下保留哪条记录的规则 - 最新的、最早的、is_disabled true 或 false 的记录？

一旦确定了该规则，剩下的事情就相当简单了：

1. 选择要保留的记录 - 将不同记录
2. 连接回原始表以获取这些记录的 ID。
3. 删除不在连接数据集中的所有内容。

假设您想要保留任何“重复”对的最新记录。您的查询将如下所示：

DELETE FROM [table] WHERE supply_req_id NOT IN
(SELECT supply_req_id from [table] t 
INNER JOIN
    (SELECT MAX(supply_req_dt) dt, request_id, supply_id 
    FROM [table] 
    GROUP BY request_id, supply_id) d
ON t.supply_req_dt = d.dt
AND t.request_id = d.request_id 
AND t.supply_id = d.supply_id)

问题是，如果 supply_req_dt 也重复，那么您将保留两个重复项。修复方法是执行另一个 group by 并选择顶部的 id

select MAX(supply_req_id), supply_req_dt, request_id, supply_id 
group by supply_req_dt, request_id, supply_id 

作为临时步骤。但如果您不需要这样做，请不要为此烦恼。