棘手的 MySQL 批处理设计

Question

我有一个抓取工具，可以访问许多站点并查找即将发生的事件和另一个脚本，该脚本实际上应该将它们放入数据库中。目前，插入数据库是我的瓶颈，我需要一种比现在更快的方法来批处理查询。

造成这一问题的棘手之处在于，单个事件的数据跨三个表，而这三个表之间具有彼此的键。要插入单个事件，我插入位置或获取该位置已存在的 ID，然后插入实际事件文本和其他数据或获取事件 ID（如果已存在）（有些每周重复一次等），最后插入包含位置和事件 ID 的日期。

我无法使用 REPLACE INTO，因为它会孤立具有相同键的旧数据。我在 Tricky MySQL Batch Query 中询问了这个问题，但是如果 TLDR 结果是我必须检查哪个键已经存在，预分配那些不存在的键，然后为每个表进行一次插入（即在 php 中完成大部分工作）。这很好，但问题是，如果一次处理多个批次，它们都可以选择预分配相同的密钥，然后互相覆盖。无论如何，有没有办法解决这个问题，因为这样我就可以回到这个解决方案？这些批次必须能够并行工作。

我现在所拥有的是，我只是在批处理期间关闭索引并分别插入每个事件，但我需要更快的东西。任何想法都会对解决这个相当棘手的问题有所帮助。 （这些表现在是 InnoDB...事务可以帮助解决这个问题吗？）

Answer 1

我建议您从 Mysql Lock Tables 开始可以用来防止其他会话在您插入数据时写入表。

例如，您可能会做类似的事情

mysql_connect("localhost","root","password");
mysql_select_db("EventsDB");
mysql_query("LOCK TABLE events WRITE");
$firstEntryIndex = mysql_insert_id() + 1;
/*Do stuff*/
...
mysql_query("UNLOCK TABLES);

上面做了两件事。首先，它锁定表，防止其他会话写入该表，直到完成并运行解锁语句。第二件事是$firstEntryIndex；这是将在任何后续插入查询中使用的第一个键值。