删除 MySQL 中的重复行

Question

我有一个包含以下字段的表：

id (Unique)
url (Unique)
title
company
site_id

现在，我需要删除具有相同 title、company 和 site_id 的行。一种方法是使用以下 SQL 和脚本 (PHP)：

SELECT title, site_id, location, id, count( * ) 
FROM jobs
GROUP BY site_id, company, title, location
HAVING count( * ) >1

运行此查询后，我可以使用服务器端脚本删除重复项。

但是，我想知道这是否可以仅使用 SQL 查询来完成。

Answer 1

一个非常简单的方法是在 3 列上添加一个 UNIQUE 索引。当您编写 ALTER 语句时，请包含 IGNORE 关键字。像这样：

ALTER IGNORE TABLE jobs
ADD UNIQUE INDEX idx_name (site_id, title, company);

这将删除所有重复的行。作为一个额外的好处，未来重复的 INSERT 将会出错。与往常一样，您可能需要在运行类似这样的操作之前进行备份...

编辑：在 MySQL 5.7+ 中不再工作

此功能已在 MySQL 5.6 和 在 MySQL 5.7 中被删除，所以它不起作用。

Answer 2

如果您不想更改列属性，则可以使用下面的查询。

由于您有一个具有唯一 ID 的列（例如，auto_increment 列），因此您可以使用它来删除重复项：

DELETE `a`
FROM
    `jobs` AS `a`,
    `jobs` AS `b`
WHERE
    -- IMPORTANT: Ensures one version remains
    -- Change "ID" to your unique column's name
    `a`.`ID` < `b`.`ID`

    -- Any duplicates you want to check for
    AND (`a`.`title` = `b`.`title` OR `a`.`title` IS NULL AND `b`.`title` IS NULL)
    AND (`a`.`company` = `b`.`company` OR `a`.`company` IS NULL AND `b`.`company` IS NULL)
    AND (`a`.`site_id` = `b`.`site_id` OR `a`.`site_id` IS NULL AND `b`.`site_id` IS NULL);

在 MySQL 中，您可以使用 NULL 安全等于运算符 （又名 “宇宙飞船运算符”）：

DELETE `a`
FROM
    `jobs` AS `a`,
    `jobs` AS `b`
WHERE
    -- IMPORTANT: Ensures one version remains
    -- Change "ID" to your unique column's name
    `a`.`ID` < `b`.`ID`

    -- Any duplicates you want to check for
    AND `a`.`title` <=> `b`.`title`
    AND `a`.`company` <=> `b`.`company`
    AND `a`.`site_id` <=> `b`.`site_id`;

Answer 3

MySQL 对于引用要从中删除的表有限制。您可以使用临时表来解决这个问题，例如：

create temporary table tmpTable (id int);

insert  into tmpTable
        (id)
select  id
from    YourTable yt
where   exists
        (
        select  *
        from    YourTabe yt2
        where   yt2.title = yt.title
                and yt2.company = yt.company
                and yt2.site_id = yt.site_id
                and yt2.id > yt.id
        );

delete  
from    YourTable
where   ID in (select id from tmpTable);

来自 Kostanos 在评论中的建议：
对于数据库非常大的情况，上面唯一慢的查询是 DELETE。这个查询可能会更快：

DELETE FROM YourTable USING YourTable, tmpTable WHERE YourTable.id=tmpTable.id

Answer 4

删除 MySQL 表上的重复项是一个常见问题，这通常是由于事先缺少避免这些重复项的约束而导致的。但这个常见问题通常伴随着特定的需求……确实需要特定的方法。该方法应该有所不同，例如，数据的大小、应保留的重复条目（通常是第一个或最后一个）、是否有要保留的索引，或者我们是否要执行任何附加操作对重复数据执行的操作。

MySQL 本身也有一些特殊性，例如在执行表 UPDATE 时无法在 FROM 上引用同一个表（这会引发 MySQL 错误 #1093）。可以通过使用带有临时表的内部查询来克服此限制（如上面某些方法所建议的）。但在处理大数据源时，这种内部查询的性能不会特别好。

然而，确实存在一种更好的方法来删除重复项，该方法既高效又可靠，并且可以轻松适应不同的需求。

总体思路是创建一个新的临时表，通常添加唯一约束以避免进一步重复，并将前一个表中的数据插入到新表中，同时处理重复项。这种方法依赖于简单的 MySQL INSERT 查询，创建一个新的约束以避免进一步的重复，并跳过使用内部查询来搜索重复项和应保存在内存中的临时表的需要（因此也适合大数据源）。

这就是它可以实现的方法。假设我们有一个表 employee，包含以下列：

employee (id, first_name, last_name, start_date, ssn)

为了删除具有重复 ssn 列的行，并仅保留找到的第一个条目，以下过程可以遵循：

-- create a new tmp_eployee table
CREATE TABLE tmp_employee LIKE employee;

-- add a unique constraint
ALTER TABLE tmp_employee ADD UNIQUE(ssn);

-- scan over the employee table to insert employee entries
INSERT IGNORE INTO tmp_employee SELECT * FROM employee ORDER BY id;

-- rename tables
RENAME TABLE employee TO backup_employee, tmp_employee TO employee;

技术说明

• 表，其结构与 employee 表完全相同
• 第 1 行创建一个新的 tmp_eployee 表以避免任何进一步的重复
• 第 3 行按 id 扫描原始 employee 表，将新的员工条目插入到新的 tmp_eployee 表中，同时忽略重复的条目
• 第 #4 行重命名表，以便新的 employee 表保存所有没有重复项的条目，并且之前数据的备份副本保留在 backup_employee 表中

⇒ < em>使用这种方法，1.6M 寄存器在不到 200 秒的时间内转换为 6k。

Chetan，如下过程中，您可以快速轻松地删除所有重复项，并通过运行以下命令创建 UNIQUE 约束：

CREATE TABLE tmp_jobs LIKE jobs;

ALTER TABLE tmp_jobs ADD UNIQUE(site_id, title, company);

INSERT IGNORE INTO tmp_jobs SELECT * FROM jobs ORDER BY id;

RENAME TABLE jobs TO backup_jobs, tmp_jobs TO jobs;

当然，可以进一步修改此过程以适应删除重复项时的不同需求。下面是一些例子。

✔ 保留最后一个条目而不是第一个条目的变体

有时我们需要保留最后一个重复条目而不是第一个条目。

CREATE TABLE tmp_employee LIKE employee;

ALTER TABLE tmp_employee ADD UNIQUE(ssn);

INSERT IGNORE INTO tmp_employee SELECT * FROM employee ORDER BY id DESC;

RENAME TABLE employee TO backup_employee, tmp_employee TO employee;

• 在第 3 行，ORDER BY id DESC 子句使最后一个 ID 的优先级高于其余 ID

✔ 对重复项执行某些任务的变体，例如对找到的重复项进行计数

有时我们需要对找到的重复条目执行一些进一步的处理（例如保留重复项的计数）。

CREATE TABLE tmp_employee LIKE employee;

ALTER TABLE tmp_employee ADD UNIQUE(ssn);

ALTER TABLE tmp_employee ADD COLUMN n_duplicates INT DEFAULT 0;

INSERT INTO tmp_employee SELECT * FROM employee ORDER BY id ON DUPLICATE KEY UPDATE n_duplicates=n_duplicates+1;

RENAME TABLE employee TO backup_employee, tmp_employee TO employee;

• 在第 3 行，创建了一个新列 n_duplicates
• 在第 4 行，INSERT INTO ... ON DUPLICATE KEY UPDATE 查询用于在以下情况下执行附加更新：发现重复（在这种情况下，增加计数器）
  INSERT INTO ... ON DUPLICATE KEY UPDATE 查询可用于对找到的重复项执行不同类型的更新。

✔ 重新生成自增字段 id 的变体

有时我们会使用自增字段，为了使索引尽可能紧凑，我们可以利用删除重复项来重新生成自增字段新的临时表。

CREATE TABLE tmp_employee LIKE employee;

ALTER TABLE tmp_employee ADD UNIQUE(ssn);

INSERT IGNORE INTO tmp_employee SELECT (first_name, last_name, start_date, ssn) FROM employee ORDER BY id;

RENAME TABLE employee TO backup_employee, tmp_employee TO employee;

• 在第 3 行，不是选择表中的所有字段，而是跳过 id 字段，以便数据库引擎自动生成一个新字段。

✔ 其他变体

根据所需的行为，还可以进行许多进一步的修改。例如，以下查询将使用第二个临时表，此外 1) 保留最后一个条目而不是第一个条目； 2) 增加发现的重复项的计数器；另外3）重新生成自增字段id，同时保持之前数据上的条目顺序。

CREATE TABLE tmp_employee LIKE employee;

ALTER TABLE tmp_employee ADD UNIQUE(ssn);

ALTER TABLE tmp_employee ADD COLUMN n_duplicates INT DEFAULT 0;

INSERT INTO tmp_employee SELECT * FROM employee ORDER BY id DESC ON DUPLICATE KEY UPDATE n_duplicates=n_duplicates+1;

CREATE TABLE tmp_employee2 LIKE tmp_employee;

INSERT INTO tmp_employee2 SELECT (first_name, last_name, start_date, ssn) FROM tmp_employee ORDER BY id;

DROP TABLE tmp_employee;

RENAME TABLE employee TO backup_employee, tmp_employee2 TO employee;

Answer 5

如果 IGNORE 语句不像我的情况那样工作，您可以使用以下语句：

CREATE TABLE your_table_deduped LIKE your_table;


INSERT your_table_deduped
SELECT *
FROM your_table
GROUP BY index1_id,
         index2_id;

RENAME TABLE your_table TO your_table_with_dupes;

RENAME TABLE your_table_deduped TO your_table;

#OPTIONAL
ALTER TABLE `your_table` ADD UNIQUE `unique_index` (`index1_id`, `index2_id`);

#OPTIONAL
DROP TABLE your_table_with_dupes;

Answer 6

还有另一种解决方案：

DELETE t1 FROM my_table t1, my_table t2 WHERE t1.id < t2.id AND t1.my_field = t2.my_field AND t1.my_field_2 = t2.my_field_2 AND ...

Answer 7

一个易于理解且无需主键即可使用的解决方案：

1. 添加新的布尔列

   alter table mytable add tokeep boolean;
   

2. 在重复列和新列上添加约束

   alter table mytable 添加约束 Preventdupe unique (mycol1, mycol2, tokeep);
   

3. 将布尔列设置为 true。由于新的约束，这只会在其中一个重复行上成功

   更新忽略mytable set tokeep = true;
   

4. 删除尚未标记为要保留的行

   ， 此操作仅在重复行之一上成功

   从 mytable 中删除 tokeep 为空的地方；
   

5. 删除添加的列

   alter table mytable drop tokeep;
   

我建议您保留添加的约束，以便将来防止新的重复项。

Answer 8

这将删除标题、公司和站点具有相同值的重复行。最后一个出现的将被保留，其余的重复项将被删除（如果您想保留第一个出现并删除其他的，请将 id 上的比较更改为大于例如 t1.id > t2.id)

DELETE t1 FROM tablename t1
INNER JOIN tablename t2 
WHERE 
    t1.id < t2.id AND
    t1.title = t2.title AND
    t1.company=t2.company AND
    t1.site_ID=t2.site_ID;

Answer 9

如果您有一个包含大量记录的大表，那么上述解决方案将不起作用或花费太多时间。那么我们有不同的解决方案

-- Create temporary table

CREATE TABLE temp_table LIKE table1;

-- Add constraint
ALTER TABLE temp_table ADD UNIQUE(title, company,site_id);

-- Copy data
INSERT IGNORE INTO temp_table SELECT * FROM table1;

-- Rename and drop
RENAME TABLE table1 TO old_table1, temp_table TO table1;
DROP TABLE old_table1;

Answer 10

我有这个用于 SQLServer 的查询片段，但我认为它可以在其他 DBMS 中使用，只需稍作修改：

DELETE
FROM Table
WHERE Table.idTable IN  (  
    SELECT MAX(idTable)
    FROM idTable
    GROUP BY field1, field2, field3
    HAVING COUNT(*) > 1)

我忘了告诉你，这个查询不会删除重复行中 id 最低的行。如果这对您有用，请尝试以下查询：

DELETE
FROM jobs
WHERE jobs.id IN  (  
    SELECT MAX(id)
    FROM jobs
    GROUP BY site_id, company, title, location
    HAVING COUNT(*) > 1)

Answer 11

对于所有情况都简单快速：

CREATE TEMPORARY TABLE IF NOT EXISTS _temp_duplicates AS (SELECT dub.id FROM table_with_duplications dub GROUP BY dub.field_must_be_uniq_1, dub.field_must_be_uniq_2 HAVING COUNT(*)  > 1);

DELETE FROM table_with_duplications WHERE id IN (SELECT id FROM _temp_duplicates);

Answer 12

我找到了一个简单的方法。 （保持最新）

DELETE t1 FROM table_name t1 INNER JOIN table_name t2 
WHERE t1.primary_id < t2.primary_id 
AND t1.check_duplicate_col_1 = t2.check_duplicate_col_1 
AND t1.check_duplicate_col_2 = t2.check_duplicate_col_2
...

Answer 13

更快的方法是将不同的行插入到临时表中。使用删除，我花了几个小时从 800 万行的表中删除重复项。使用insert和distinct，只花了13分钟。

CREATE TABLE tempTableName LIKE tableName;  
CREATE INDEX ix_all_id ON tableName(cellId,attributeId,entityRowId,value);  
INSERT INTO tempTableName(cellId,attributeId,entityRowId,value) SELECT DISTINCT cellId,attributeId,entityRowId,value FROM tableName;  
TRUNCATE TABLE tableName;
INSERT INTO tableName SELECT * FROM tempTableName; 
DROP TABLE tempTableName;  

Answer 14

使用 DELETE JOIN 语句删除重复行
MySQL 为您提供了 DELETE JOIN 语句，您可以使用它快速删除重复的行。

以下语句删除重复行并保留最高的 id：

DELETE t1 FROM contacts t1
    INNER JOIN
contacts t2 WHERE
t1.id < t2.id AND t1.email = t2.email;

Answer 15

从版本 8.0 (2018) 开始，MySQL 终于支持 window功能。

窗口函数既方便又高效。这是一个解决方案，演示了如何使用它们来解决此作业。

在子查询中，我们可以使用 ROW_NUMBER() 为表中 column1/column2 组中的每条记录分配位置，按 id 排序。如果没有重复项，记录将获得行号 1。如果存在重复，它们将按 id 升序编号（从 1 开始）。

一旦子查询中的记录被正确编号，外部查询就会删除行号不为 1 的所有记录。

查询：

DELETE FROM tablename
WHERE id IN (
    SELECT id
    FROM (
        SELECT 
            id, 
            ROW_NUMBER() OVER(PARTITION BY column1, column2 ORDER BY id) rn
        FROM output
    ) t
    WHERE rn > 1
)

Answer 16

每当我搜索“从 mysql 中删除重复项”时，我都会访问此页面，但对于我的 theIGNORE 解决方案不起作用，因为我有一个 InnoDB mysql 表，

此代码在任何时候都可以更好地工作

CREATE TABLE tableToclean_temp LIKE tableToclean;
ALTER TABLE tableToclean_temp ADD UNIQUE INDEX (fontsinuse_id);
INSERT IGNORE INTO tableToclean_temp SELECT * FROM tableToclean;
DROP TABLE tableToclean;
RENAME TABLE tableToclean_temp TO tableToclean;

tableToclean = 您需要清理的表的名称

tableToclean_temp = 临时表表创建和删除

Answer 17

此解决方案将将重复项移动到一个表中，并将唯一项移动到另一个表中。

-- speed up creating uniques table if dealing with many rows
CREATE INDEX temp_idx ON jobs(site_id, company, title, location);

-- create the table with unique rows
INSERT jobs_uniques SELECT * FROM
    (
    SELECT * 
    FROM jobs
    GROUP BY site_id, company, title, location
    HAVING count(1) > 1
    UNION
    SELECT *
    FROM jobs
    GROUP BY site_id, company, title, location
    HAVING count(1) = 1
) x

-- create the table with duplicate rows
INSERT jobs_dupes 
SELECT * 
FROM jobs
WHERE id NOT IN
(SELECT id FROM jobs_uniques)

-- confirm the difference between uniques and dupes tables
SELECT COUNT(1)
AS jobs, 
(SELECT COUNT(1) FROM jobs_dupes) + (SELECT COUNT(1) FROM jobs_uniques)
AS sum
FROM jobs

Answer 18

使用 DELETE JOIN 语句删除重复行：

DELETE t1 FROM table_name t1
JOIN table_name t2
WHERE
    t1.id < t2.id AND
    t1.title = t2.title AND t1.company = t2.company AND t1.site_id = t2.site_id;

Answer 19

删除表中的重复记录。

delete from job s 
where rowid < any 
(select rowid from job k 
where s.site_id = k.site_id and 
s.title = k.title and 
s.company = k.company);

或者

delete from job s 
where rowid not in 
(select max(rowid) from job k 
where s.site_id = k.site_id and
s.title = k.title and 
s.company = k.company);

Answer 20

这是我使用的，它有效：

create table temp_table like my_table;

t_id 是我独特的列

insert into temp_table (id) select id from my_table GROUP by t_id;
delete from my_table where id not in (select id from temp_table);
drop table temp_table;

Answer 21

为了复制具有唯一列的记录，例如 COL1、COL2、COL3 不应被复制（假设我们在表结构中丢失了 3 个唯一列，并且已在表中添加了多个重复条目）

DROP TABLE TABLE_NAME_copy;
CREATE TABLE TABLE_NAME_copy LIKE TABLE_NAME;
INSERT INTO TABLE_NAME_copy
SELECT * FROM TABLE_NAME
GROUP BY COLUMN1, COLUMN2, COLUMN3; 
DROP TABLE TABLE_NAME;
ALTER TABLE TABLE_NAME_copy RENAME TO TABLE_NAME;

希望能帮助开发人员。

Answer 22

如果您想删除其中一个重复项并保留另一个，这是完美的选择。请注意，如果没有子查询，您将收到 #1093 错误。

DELETE FROM table_name
WHERE id IN (
    SELECT * FROM (SELECT n.id FROM table_name n
    WHERE n.column2 != "value"
    GROUP BY n.column HAVING COUNT(n.column ) > 1) x
)

Answer 23

CREATE TEMPORARY TABLE temp_table AS
SELECT max(option_id) AS max_option_id, title
FROM list_options
GROUP BY title;

DELETE FROM list_options
WHERE option_id NOT IN (
  SELECT max_option_id
  FROM temp_table
);

DROP TEMPORARY TABLE temp_table;

Answer 24

我有一个表忘记在 id 行中添加主键。虽然 id 有 auto_increment 。但有一天，有人在数据库上重放 mysql bin 日志，其中插入了一些重复的行。

删除重复行

1. 我通过

   选择唯一的重复行并将其导出

   来

   从 table_name T1 中选择 T1.*
   内连接（选择 count(*) 作为 c, id
       来自表名
       按 ID 分组）T2
   在 T1.id = T2.id 上
   其中T2.c> 1
   按 T​​1.id 分组；
   

2. 按 id 删除重复行

3. 插入导出数据中的行。

4. 然后在id上添加主键

Answer 25

这是我正在使用的查询，它的工作原理与 gem 类似，

这是查询，

delete from products where products_id in ( select * from ( select products_id from products group by products_red having count(*) >1)_tmp)

它会在没有任何临时表的情况下删除，

好处：如果有 10000 条记录，每条记录为 2 到 5，那么您需要运行5次清除所有重复，
缺点：如果数据有10000个重复，那么每次需要运行10000次才能清除一个，

请在考虑产品数和重复数后使用此方法

Answer 26

我想更具体地说明我删除了哪些记录，所以这是我的解决方案：

delete
from jobs c1
where not c1.location = 'Paris'
and  c1.site_id > 64218
and exists 
(  
select * from jobs c2 
where c2.site_id = c1.site_id
and   c2.company = c1.company
and   c2.location = c1.location
and   c2.title = c1.title
and   c2.site_id > 63412
and   c2.site_id < 64219
)

Answer 27

您可以轻松地从此代码中删除重复的记录。

$qry = mysql_query("SELECT * from cities");
while($qry_row = mysql_fetch_array($qry))
{
$qry2 = mysql_query("SELECT * from cities2 where city = '".$qry_row['city']."'");

if(mysql_num_rows($qry2) > 1){
    while($row = mysql_fetch_array($qry2)){
        $city_arry[] = $row;

        }

    $total = sizeof($city_arry) - 1;
        for($i=1; $i<=$total; $i++){


            mysql_query( "delete from cities2 where town_id = '".$city_arry[$i][0]."'");

            }
    }
    //exit;
}

Answer 28

我必须对文本字段执行此操作，并遇到了索引 100 字节的限制。

我通过添加一列、对字段进行 md5 哈希并进行更改来解决这个问题。

ALTER TABLE table ADD `merged` VARCHAR( 40 ) NOT NULL ;
UPDATE TABLE SET merged` = MD5(CONCAT(`col1`, `col2`, `col3`))
ALTER IGNORE TABLE table ADD UNIQUE INDEX idx_name (`merged`);