将数据从公共生产服务器归档到内部归档服务器

Question

我们有一个网络应用程序，其中保存了来自嵌入式设备的日志数据的详细存档。我们希望保留这些详细数据以供内部分析，但公共可访问的生产服务器上三个月以上不需要这些数据。 Web 应用程序仅插入新数据，不会更新或删除详细数据。

因此，我们希望构建一个归档系统，定期（例如每天）从生产服务器（包括最近三个月）获取新数据的副本，然后从生产服务器中删除所有超过三个月的数据。

不幸的是，有时我们的一些嵌入式设备会离线一段时间（几天到几周）。在这种情况下，可能会发生在已复制/归档时间内将新数据添加到系统中的情况。

在公共生产服务器上，我们使用 SQL Server 2008 标准版，在内部存档系统上，我们希望使用 SQL Server 2008 R2 企业版，以便从存档的分区和压缩中受益。

目前我正在考虑以下方法：

1. 每天将数据从生产系统复制到存档系统。当生产中的旧数据被删除时，不应将其复制到存档系统。我找到了一个选项来忽略复制目标上的删除操作。

2. 如果不需要在存档系统上保留当前数据，我会定期将所有早于特定时间的数据移至存档系统。但我必须同步当前数据并移动所有旧数据。

   也许我必须使用混合解决方案：复制以同步存档和生产系统之间的当前数据，并将旧数据移动到存档系统上的存档表（同时将存档数据的删除从当前表复制到生产系统）。

你怎么认为？您对此类问题有一些建议或了解一些最佳实践吗？这个主题是否在其他地方（例如书籍）有所涉及？

预先非常感谢您。

PS：我不确定这个问题应该在这里问还是在服务器故障上问。如果我在这里发布的决定是错误的，请移动它。谢谢。

Answer 1

您可以做的一件事是让您的网络应用程序同时插入两个数据库中。这样归档就不依赖于产品数据库。根本不。

您还可以考虑对产品进行分区。 DB，以便从产品数据库中删除数据更容易。 （但由于您的产品数据库是标准版，所以这不是一个选项。）在这种情况下，您可能必须从产品数据库中删除行。要执行删除，请勿在一笔事务中执行整个删除。您可能想将其分成批次。

最后，在进行删除时密切观察您的日志增长。它可以很快变大。

Answer 2

我们谈论的大约有多少表需要存档？

如果只有一张或几张表，您可以通过 SQL Server Agent 定期运行一些 SQL。

像这样的事情（非常简单）：

-- copy to archive database
insert into ArchiveServer.dbo.ArchiveTable (Column1, Column2, ...)
select Column1, Column2, ...
from ProductionTableOnThisServer
where DateColumn < dateadd(m, -3, getdate())

-- delete in production database
delete from ProductionTableOnThisServer
where DateColumn < dateadd(m, -3, getdate())

为了使该示例正常工作，它需要在生产服务器上运行并且存档服务器必须配置为链接服务器位于生产服务器中。

当然，这个小例子还远远不够完美（甚至还没有准备好投入生产！）。
这只是为了表达基本想法。

在现实世界中，您可能还希望：

• 将两个查询包装在一个事务中，这样如果归档由于某种原因不起作用，则真实数据不会被删除
• 仅插入真正新的行并更新那些已经存在的行改变了
• 等等...