从多个工作站收集数据

Question

我目前正在开发一个Windows 服务，该服务将部署到公司内的所有工作站。 该服务的目的是收集各种统计数据并将其记录在一个中央位置。

对于第一次迭代，服务直接调用 SQL 来记录每次有数据需要记录的情况。 在大约 120 个工作站上进行测试告诉我，这不是一个好主意，而且无法扩展。

有人可以推荐一种收集相关数据的替代策略，该策略不会使数据库服务器超载吗？ 这将部署到大约 2000 台机器。

我正在使用 C#。

谢谢。

Answer 1

从您的问题来看，您似乎已经有了一个可行的解决方案，您只需要有关如何扩展它的建议。 以下是我的两点建议：

• 不要在工作站的服务中保持 SQL 连接打开
• 尝试在内存中批量更新数据，并且仅在收集到一定数量的数据或经过一定时间间隔后才更新数据库（使您的连接不那么频繁）更矮胖）。
• 确保您的数据库正确规范化，以避免重复数据

就个人而言，对于需要扩展到 2000 个工作站的关键任务，我会使用商业产品，并且不会重新发明轮子。

Answer 2

只是回答来总结问题。 这是我最终实现它的方式。

数据收集

• AC# 服务在工作站上运行。 它以不同的时间间隔（不是预先确定的，基于系统上的某些事件）触发数据收集。
• 数据被写入本地工作站上的文件中。
• 然后数据文件被复制到网络位置。

数据解析

• “导入器”程序按计划运行。 它会遍历自上次运行以来创建的所有文本文件，解析它们并将它们导入到 SQL 中。

我以这种方式实现它的原因是：

• 避免我在原始问题中提到的 SQL 服务器的资源问题。
• 创建的文件非常小，1-2KB
• 导入器会在过去运行几分钟，以避免与正在进行的任何副本发生冲突。
• 导入器删除已处理的文件并跳过不在其“lastscantime”和“currentTime-X 分钟”窗口内的文件。