使 MySQL 表唯一

Question

嘿，我创建了一个蜘蛛来爬行 PDF 文档，并将文档中的每个单词记录到 MySQL 数据库的表中。

显然，像“the”、“and”、“or”等词在一本书中出现很多很多次。

我只是想知道从表中删除重复值的最快方法是什么？

Answer 1

创建一个不索引单词的表，并使用批量插入放入书中的所有单词（您也可以使用 LOAD DATA）。完成插入后，在 word 字段上添加新索引，

然后使用以下命令创建第二个表：

CREATE TABLE newTable SELECT DISTINCT word FROM oldTable

Answer 2

您可以确保没有重复项进入表中，而不是删除重复项。

假设您的表只有 2 个字段，id 和 word：

INSERT INTO table SELECT null, 'word' FROM table WHERE NOT EXISTS (SELECT * FROM table WHERE word = 'word') LIMIT 1;

仅当单词尚不存在时，才会将单词插入表中

Answer 3

如果您可以重新运行脚本来填充数据库，则可以在“word”字段上添加唯一键，而不是 INSERT INTO 执行 REPLACE INTO。这将在添加重复字段之前删除记录的先前实例。这可能不是最有效的方法，但它相当简单。有关更多详细信息，请参阅此处：

http://dev.mysql.com/ doc/refman/5.0/en/replace.html

Answer 4

选择单词字段上的不同，然后删除具有不同 id 的所有行？我不是子查询方面的高手，所以没有 atm 的例子:)

Answer 5

delete from words where idcolumn not in
  (select min(idcolumn) 
   from words T2 
   where T2.plain = WordsTable.plain)

如果您为找到的每个单词添加了 (idcolumn, plain)，则此方法有效。

如果您没有 id 列 (pk)，那么您可以使用 Anax 的解决方案。

除了不插入重复项（codeburger 注释）之外，您还可以在普通列上设置唯一索引。