这是我在 MySQL 中尝试执行的最佳查询吗？

Question

我正在运行许多查询，将不断变化的数据合并到主表中，其中一个查询（如下）似乎运行得很慢。

设置如下：products 表和products_temp 表具有相同的结构。新数据进入 products_temp 表，然后我运行类似于下面的查询，将新数据与主 products 表合并。

INSERT INTO products ( name, brand, price, feeds_id, img_url, referral_url, productid, isbn, ean, upc )
SELECT name, brand, price, feeds_id, img_url, referral_url, productid, isbn, ean, upc
FROM products_temp 
WHERE feeds_id = 449
AND productid NOT IN (
    SELECT productid
    FROM products
    WHERE feeds_id = 449
)

这两个表都有 feeds_id 索引，但我感觉这没有任何区别。

例如，products 可能包含超过 350 万行，products_temp 可能包含 50,000 行以合并 products。

所以我的问题是这需要多长时间？我能多快完成？

Answer 1

确实，这种技术称为影子表技巧。

Answer 2

您可以在主表中的 feeds_id 上删除索引，并在 (feeds_id, productid) 上添加唯一键。因此，您将能够使用 INSERT IGNORE 进行合并。注意索引中字段的顺序 - feeds_id 必须在前面，这样您就可以使用该索引按 feeds_id 进行搜索。

NOT IN 可能会导致速度变慢。根据括号内的内容，查询可能会陷入“准备”状态。

如果您仍然遇到速度缓慢的情况，请使用 EXPLAIN 或分析功能。

Answer 3

尝试重构查询并将其设置为 LEFT JOIN 检查右侧的 NULL

INSERT INTO products ( name, brand, price, feeds_id,
img_url, referral_url, productid, isbn, ean, upc )
SELECT A.name, A.brand, A.price,
A.feeds_id, A.img_url, A.referral_url,
A.productid, A.isbn, A.ean, A.upc
FROM
(SELECT * FROM products_temp A WHERE feeds_id = 449) A
LEFT JOIN
(SELECT productid FROM products WHERE feeds_id = 449) B
USING (productid)
WHERE B.productid IS NULL;

并确保您有此索引

ALTER TABLE products_temp ADD INDEX feeds_id (feeds_id);

Answer 4

你应该尽量避免 WHERE x not in (select xxx)。 mysql 查询优化器在子查询方面存在很多问题，例如会忽略索引。