插入忽略或插入不在其中的位置

Question

我有一个 900 万行的表，由于其庞大的规模，我正在努力处理所有这些数据。

我想要做的是将导入 CSV 添加到表中而不覆盖数据。

在我做这样的事情之前； INSERT if not in(select email from tblName where source = "number" and email != "email") INTO (email...) VALUES ("email"...)

但我担心我会崩溃再次服务器。我希望能够将 10,000 行插入到表中，但前提是它不在源=“number”的表中。

否则我会在电子邮件列上使用唯一的。

简而言之，我想通过检查两件事尽快插入而不向表中引入重复项。如果 email != "email" AND source != "number" 则插入表中，否则不执行任何操作。我也不想要错误报告。

我很抱歉我的措辞不好，而且这个问题听起来有点愚蠢。

我只是很难适应无法通过下载备份并上传（如果出现问题）来测试数据。我讨厌大数据集:)

谢谢大家的宝贵时间 -大事

Answer 1

如果这些字段上有唯一键，则可以使用 LOAD DATA INFILE 和 IGNORE 选项。它比逐行插入更快，也比多重插入更快。

看看 http://dev.mysql.com/doc/refman /5.1/en/load-data.html

Answer 2

对 email 和 source 列设置 UNIQUE 约束。

然后执行：

INSERT INTO table_name(email, source, ...) VALUES ('email', 'source', ...)
ON DUPLICATE KEY UPDATE email = email;

---

INSERT IGNORE 不会通知您任何类型的错误。我不会推荐它。我也不推荐INSERT ... WHERE NOT IN。 MySQL 已经为此提供了很好的优化功能。这就是为什么 INSERT ... ON DUPLICATE KEY UPDATE 存在的原因。