最佳实践：将数百万条条目传输到另一个 MySQL 数据库

Question

我分配了以下任务：

获取一个包含多个表和数十万条条目的当前数据库，并编写一个脚本，将大部分数据传输到具有不同结构的单独数据库中。

基本上，已经使用不同的表结构创建了一个新数据库，我需要（在确认所有数据类型都匹配后）编写一个脚本将数据复制到正确的表/列。

最终我想知道对于如此大规模的数据传输是否有任何最佳实践、首选语言或有人可以提供的提示/技巧？

Answer 1

首先，我认为最重要的一点是，您应该不惜一切代价避免编写任何将数据从生产服务器传输到另一个生产服务器的脚本。仅使用实时数据进行迁移的潜在危险就应该是足够的理由。

也就是说，我可以建议一些我认为可能适合此类任务的做法。

1. 从生产服务器获取所有数据并将其转储到完全独立的开发盒中。消除对原始数据的风险以及对服务器性能的影响。
2. 一旦进入严格的开发平台，我建议如果可能的话，将所有数据从 SQL 移动到 SQL，而不是使用某种中间语言编写脚本。当然，您的新结构可能完全禁止这种方法，但一般来说，必须担心将数据从严格的、可靠的数据类型移动到另一种语言（例如，无类型 PHP 或类型严格的 .net）。数据库增加了许多步骤，使您的任务变得复杂，增加了计算时间，并可能导致未捕获的损失。
3. 只要有时间和能力，就花尽可能多的时间来验证新设计模式的智能性。除非您束手无策，否则请尝试想象这些更改实际上是否是改进，以及不可避免的查询重写是否提高了效率和可读性。

我确信还有许多其他事情需要注意，但我希望这些内容足以帮助您从一种模式过渡到另一种模式。如果本地服务器可行，然后导入，请不要让自己陷入远程服务器的困境。保持简单！