将本地数据库与外部API同步

Question

我有一个包含大约 500 000 行的表。每天一次，我会尝试将此表与外部 API 同步。大多数情况下，自上次更新以来几乎没有进行任何更改。我的问题基本上是我应该如何构建 MySQL 查询以获得最佳性能？我曾考虑过使用 insertignore，但感觉这不是最好的方法，因为只会插入几行，并且 MySQL 必须循环遍历表中的所有行。我还考虑过使用 LOAD_DATA_INFILE 将所有行插入临时表中，然后选择原始表中尚未存在的行，然后删除临时表。也许其他人有更好的建议？

先感谢您！

Answer 1

我通常使用临时表和 LOAD DATA INFILE 批量加载器。批量加载器比尝试使用动态创建的查询插入记录要高效得多。

如果您使用与 API 中的键相关的适当的唯一键为永久表建立索引，那么您应该会发现 INSERT 和 UPDATE 语句运行得非常快。我使用的 INSERT 查询类型的示例如下：

INSERT INTO keywords(api_adgroup_id, api_keyword_id, keyword_text, match_type, status) 
SELECT a.api_id, a.keyword_text, a.match_type, a.status
FROM tmp_keywords a LEFT JOIN keywords b ON a.api_adgroup_id = b.api_adgroup_id AND a.api_keyword_id = b.api_keyword_id
WHERE b.api_keyword_id IS NULL

在本示例中，我对 keywords 表执行 OUTER JOIN 来检查如果它已经存在。仅临时表中与主表中不匹配的新行（keywords 表中的 api_keyword_id 为 NULL）插入。

另请注意，在此示例中，我需要同时使用广告组 ID 和关键字 ID 来唯一标识关键字，因为当同一关键字/匹配类型组合存在于多个广告组中时，AdWords API 会为其提供相同的 ID。