如何在实时数据库上运行大更新？

Question

我正在编写的一个 Web 项目使用复杂的 CSV 到 MySQL 转换器来创建数据库。这意味着，要使用 CSV 中的最新更改更新数据库内容，需要运行一个转换器，该转换器会截断相关表（但保留通过网站填充的其他表），并使用 CSV 中的数据再次填充它们。

是的，这不是一个很好的过程，但是选择这种方法而不是标准的“处理实际数据库”方法是有充分理由的。

我正在努力解决的是找出运行此更新过程的最佳方法，而不会对用户体验造成太大影响。需要记住的几个数字：

1）此过程必须定期运行，范围是每隔几周/每月一次
2) 数据库转换器目前大约需要一个小时，并且将来可能需要长达 15 个小时，至少如果对数据库增长的预测是正确的话（是的，哎呀！）
3) 完整数据库的 sql 转储目前低于 20MB（可以通过 phpmyadmin 轻松导入），但很快就会突破这一障碍。我想这应该不是问题，因为我可以使用 SSH 上传。

以下是我想到的一些替代方案，所有这些都使用具有全局设置的单独数据库（这些设置会针对站点上的每次读/写进行检查）。替代方案 2 似乎是最糟糕的，因为它在整个转换过程中阻止读取访问，正如我所说，这可能会很长。它们都阻止写入访问大约相同的时间，这很好，但它不会阻止用户注册或类似的任何关键操作。我对第三种替代方案的可行性很好奇，因为从理论上讲，它可以缩短读取功能的停机时间，因为我不必上传大转储。

有人做过这样的事吗？如果有更好的替代方案，或者有任何有关如何改进这些方案以及是否选择 1 或 3 的反馈，我将不胜感激。提前致谢:)

替代方案 1
1）将globalsettings_booleans_writeable设置为0
2）下载当前数据库（SQL转储）
3）将下载的DB导入本地
4) 在本地数据库上运行转换器（以更新模式）
5) 导出本地数据库
6）将globalsettings_booleans_read设置为0
7) 在线导入导出的数据库
8) 将 globalsettings_booleans_read 设置为 1
9) 将 globalsettings_booleans_writeable 设置为 1

替代方案 2
1）将globalsettings_booleans_writeable设置为0
2）将globalsettings_booleans_read设置为0
3）在实时数据库上运行转换器（以更新模式）
4）将globalsettings_booleans_read设置为1
5）将globalsettings_booleans_writeable设置为1

替代方案3
1）将globalsettings_booleans_writeable设置为0
2) 创建数据库的远程副本
3) 在远程复制上运行转换器（以更新模式）
4）将globalsettings_booleans_read设置为0
5）用远程复制替换远程原始文件（容易吗？）
6）将globalsettings_booleans_read设置为1
7）将globalsettings_booleans_writeable设置为1

Answer 1

在我看来，通过检查 CSV 以查看哪些记录实际上会导致数据库发生更改，可以避免很多排他性。看起来 CSV 生成器才是数据的实际来源，而数据库只是它的镜像，对吧？

如果是这样，则可以忽略不会导致任何更改的 CSV 记录，不会截断 d/b 表，并且可以使用替代方案 2 运行剩余的 CSV 记录，这大概只需要几分钟。

这种方法的主要弱点是，如果记录在源头被删除，并且没有迹象表明 d/b 需要在本地删除它们。