比较不同类型的两个数据库表并比较它们的数据的最佳方法？

Question

我有两个数据库表，一张在 MYSQL 中，一张在 MSSQL 中。两者都有相似的数据，并且一个基于另一个的数据。它们位于两个不同的数据库中，因为一个是受管理的远程系统，而本地系统是 Drupal 安装，我使用它通过自定义模块以更友好的方式显示数据。

例如，我在 MSSQL 中有一个这种结构的表：

ID | Title | Description | Other fields I don't care about

基于从该表提取数据，我在 MYSQL 中生成一个表：

local_id | remote_id | title | description

当模块初始化时，它会从 MSSQL 表中进行选择并生成记录并填充本地数据库。 Remote_id是MSSQL数据库中的ID字段，因此我们可以一起引用这两条记录。

我需要同步这些数据，在本地删除远程表中不再存在的记录并创建本地不存在的新记录，并更新所有行信息。

问题是，这种情况需要至少 2 个不同的事务以及可能的按行事务。示例：

将本地同步到远程并删除不存在的远程记录：

Select remote_id from local_table;
  For Each remote_id ( select ID, title, description FROM remote_table where ID = remote_id )
    If record exists
      UPDATE local_table WHERE remote_id = row_id
    Else
      DELETE FROM local_table where remote_id = row_id

然后我们至少需要一个其他事务来获取新记录（如果我没有这样做，我也可以在这里更新）在上一个循环中）：

Select ID, title, description from remote_table;
  For each ID ( Select remote_id from local_table )
    If does not exist
      INSERT INTO local_table (VALUES)

所以这是大量的数据库活动。如果表的类型相同，那就更容易了，但事实上这是我知道如何做到这一点的唯一方法。有更好的办法吗？我是否可以将两个结果集拉入关联数组并以这种方式进行比较，并且仅执行删除和创建所需的事务？我不确定。

Answer 1

根据您所使用的系统，有很多方法可以做到这一点。
我所做的第一个假设是您有 2 个数据库并且您想要在这 2 个数据库之间同步数据
也就是说，MSSQL 数据库必须从 MySQL 中提取数据，反之亦然。

您使用关联数组的方法很好，但是如果表中有 100 列怎么办？ （在你的情况下不是，但该方法不能证明未来）
因此，要更新 1 行，您需要进行“n”列比较，如果有 100 行，则将进行 100*n 比较

看看 MySQL REPLACE, INSERT INTO .. ON DUPLICATE KEY 子句可能对您有帮助 - 我不知道知道MSSQL中是否有这样的子句

您可以做其他事情，例如 - 在每个数据库表中都有一个“last_updated”列 - 每当表中的列被更新时，这个时间戳字段必须更新

通过这种方式，您可以判断任一数据库表中的行是否已更新（通过将其与旧时间戳值进行比较），并且仅更新这些行

逻辑将在这些行中

to sync local to remote 
foreach localrow 
  get the common_id of the row 
  get the timestamp of the row 
  check if a row with this common_id exists in the remote table 
  if no then insert 
  if yes then 
    compare timestamps between local and remote row 
    if local row timestamp > remote row timestamp then update remote row 

Answer 2

您可以执行基于集合的操作，而不是执行逐行操作。例如，

INSERT INTO local_table (vales)
SELECT .. FROM  remote_table
WHERE NOT EXISTS (Select ... FROM local_table WHERE remote_table.field = local_table.field and ...)

为此，您需要添加链接服务器，请参阅 sp_addlinkedserver。您可以创建从 SQL Server 到页面上列出的任何服务器的链接。这包括任何具有 MySQL 那样的 ODBC 驱动程序的数据库。

我不知道 MySQL 是否能够做相反的事情。