从 SQL Server 高效更新 MySQL 表

Question

我们的数据中心有一个 MySQL 数据库（大部分是只读的，因此是 MyISAM 表），它与现场的 SQL Server DB 进行通信。 WAN 中存在一些明显的延迟（100 毫秒以上）； 大约 6 个月后，SQL Server DBMS 将迁移到数据中心（例如相同的千兆位 LAN）。

在 MySQL 数据库中，我需要根据 SQL Server 数据库中的结果更新数千行。 MySQL 数据库附加到在 Linux 上运行的 Rails 应用程序，因此我希望在 shell 脚本或 rake/ruby 任务 中尽可能保留迁移数据的逻辑（我们不Windows 应用程序开发人员因此 Win32 应用程序等完全可以！）。

这是一个相当简单的过程。 用伪代码表示：

SELECT id
     , amount
  FROM bank_account.on_SQL_Server
 WHERE (some logic)

FOREACH ROW:
  UPDATE bank_account.on_MySQL
     SET amount = $some_amount
   WHERE id     = $some_id

假设有数千行需要更新并如此频繁地完成（每 5 分钟一次）。 还假设我无法知道 SQL Server 中的哪些行发生了数量更改（不幸的是！），因此我不能将其限制为仅修改的行 - 我必须将它们全部发送过来（糟糕，但是 SQL Server DB是无法修改的第 3 方应用程序编辑：我们确实可以控制 DBMS，因此我们可以进行一些轻微的修改，例如表上的触发器或新的存储过程 - 只是没有表模式更改为添加，例如，最后更新的列 - 但我想将此选项保存为最后的手段）。

如何最好地执行此更新过程以最小化运行时间？ 这个过程需要每隔几分钟运行一次（越快越好），并且从 Ruby 向 SQL Server 和 MySQL 发出双连接太慢了。 这可能是 MyISAM 引擎发出的一些写表锁，但转换为 Innodb 似乎并没有使它更快（系统正在测试中，因此不容易模拟生产将收到的相同类型的负载，导致我相信它与锁无关）。

我目前倾向于将 VIEW（对应于上面的 SQL Server 语句）BCP 到文件，FTP 到 Linux 服务器，然后使用 Ruby foreach 该文件（并执行大量序列化 SQL 语句） ，但我必须想象有更好的方法。

Answer 1

您可以按照这些说明将 MySQL 作为链接服务器添加到 SQL Server

从那里你可以做一些事情，比如在 mysql 表和 mssql 表之间进行连接，其中金额不相等并相应地更新它们。
然后，您可以将其作为 SQL 作业运行，以使数据库每 5 分钟保持同步。

例如。

SELECT * FROM mysql.dbo.bank_account myb 
INNER JOIN bank_account sqlb 
ON myb.id = sqlb.id 
AND sqlb.amount <> myb.amount

一旦您可以从 SQL Server 内部查询 mysql 表，可能会有更智能的方法来确定哪些数据已更改，这将使用更少的资源，但这只是一个开始。

Answer 2

您也许可以向 MSSQL 端添加另一个表，以免通过缓存旧值或通过 触发（恶心）。

与此正交的是，您可能会看到是否有一个 MySQL 引擎可以提供 MSSQL DB 的远程视图，例如 联合引擎 适用于 MySQL。